App下载
1. Scrapy框架介绍
Python Scrapy 网络爬虫入门课程 / 1. Scrapy框架介绍
手机也能上课
App下载
1/3

Scrapy框架认知

1

Scrapy 是一款由 Python 语言开发高效的爬虫框架,使用 lxml(专业的 XML 处理包)、cssselect 高效地提取 HTML 页面的有效信息,同时它也提供了有效的线程管理。 


可能你会有疑问,requests 和 urllib 同样是爬虫,为什么我们要使用 Scrapy 网络请求框架?


因为 Scrapy 使用了 Twisted 异步网络框架来处理网络通讯。如此,开发者不用自己去实现异步框架,且下载速度可以更快。Scrapy 还包含了各种中间件接口,可以灵活的完成各种需求。


  在学习 Scrapy 框架之前,建议您对 python 语言、xpath 语法、正则表达式、html 状态码等网络爬虫知识有初步的了解。  


+10 经验 +10积分
解析
提示
参考答案
+10 经验 +10积分
视频播放结束,是否学习下一节?