手机也能上课
1/3
Scrapy框架认知
Scrapy 是一款由 Python 语言开发高效的爬虫框架,使用 lxml(专业的 XML 处理包)、cssselect 高效地提取 HTML 页面的有效信息,同时它也提供了有效的线程管理。
可能你会有疑问,requests 和 urllib 同样是爬虫,为什么我们要使用 Scrapy 网络请求框架?
因为 Scrapy 使用了 Twisted 异步网络框架来处理网络通讯。如此,开发者不用自己去实现异步框架,且下载速度可以更快。Scrapy 还包含了各种中间件接口,可以灵活的完成各种需求。
在学习 Scrapy 框架之前,建议您对 python 语言、xpath 语法、正则表达式、html 状态码等网络爬虫知识有初步的了解。