scrapy 2.3 使用项目加载器填充项目
要使用项加载器,必须首先实例化它。您可以使用 item object 或者没有,在这种情况下 item object 在项目加载器中自动创建 __init__ 方法使用 item 中指定的类 ItemLoader.default_item_class
属性。
然后,开始将值收集到项加载器中,通常使用 Selectors . 您可以向同一个项目字段添加多个值;项目加载器稍后将知道如何使用适当的处理函数“联接”这些值。
注解
收集的数据以列表的形式在内部存储,允许向同一字段添加多个值。如果 item
参数是在创建加载程序时传递的,如果项的每个值已经是iterable,则将按原样存储;如果是单个值,则将用列表包装。
下面是在 Spider ,使用 Product item Items chapter ::
from scrapy.loader import ItemLoader
from myproject.items import Product
def parse(self, response):
l = ItemLoader(item=Product(), response=response)
l.add_xpath('name', '//div[@class="product_name"]')
l.add_xpath('name', '//div[@class="product_title"]')
l.add_xpath('price', '//p[@id="price"]')
l.add_css('stock', 'p#stock]')
l.add_value('last_updated', 'today') # you can also use literal values
return l.load_item()
通过快速查看该代码,我们可以看到 name
正在从页面中的两个不同的xpath位置提取字段:
-
//div[@class="product_name"]
-
//div[@class="product_title"]
换句话说,通过使用 add_xpath()
方法。这是将分配给 name
以后再说。
之后,类似的呼叫用于 price
和 stock
字段(后者使用CSS选择器 add_css()
方法),最后 last_update
直接用文字值填充字段 (today
)使用不同的方法: add_value()
.
最后,当收集所有数据时, ItemLoader.load_item()
方法,它实际返回用以前提取和收集的数据填充的项 add_xpath()
, add_css()
和 add_value()
电话。
更多建议: