1、使用Scrapy的好处

1）构建和扩展大型爬行项目更容易。

2）它有一个内置的机制称为选择器，用于从网站中提取数据。

3）它异步处理请求，速度很快。

4）它利用自动节流机构自动调整爬行速度。

5）确保开发人员的可访问性。

2、Scrapy的特点

1）Scrapy是一个开源的、免费的web抓取框架。

2）Scrapy生成JSON、CSV和XML等格式的提要导出。

3）Scrapy内置支持通过XPath或CSS表达式从源中选择和提取数据。

3）基于爬虫的Scrapy，允许自动从网页中提取数据。

3、优势

1）Scrapy易于扩展、快速和强大。

2）它是一个跨平台的应用框架(Windows, Linux, Mac OS和BSD)。

3）Scrapy请求是异步调度和处理的。

4）Scrapy自带内置服务Scrapyd，允许使用JSON web服务上传项目和控制蜘蛛。

5）可以废弃任何网站，尽管该网站没有用于原始数据访问的API。

3、缺点

1）Scrapy仅适用于Python 2.7以上的版本。

2）不同的操作系统上，安装Scrapy的方法不同。