技术选型 爬虫能做什么

scrapy vs requests + beautifulsoup

1. requests和beautifulsoup都是库，scrapy是框架，框架可以集成很多库
2. scrapy框架中可以加入requests和beautifulsoup
3. scrapy基于twisted，性能是最大的优势
4. scrapy方便扩展，提供了很多内置的功能
5. scrapy内置的css和xpath selector非常方便，beautifulsoup最大的缺点就是慢