Scrapy框架之反爬

2019.02.22

1.提示 Forbidden by robots.txt 时,将setting中ROBOTSTXT_OBEY的值改为False,如果为True,Scrapy会默认遵守网站的robot协议。
2.提示 ERROR: ACCESS DENIED 时,审查网页发现返回403,