• 周二. 10 月 8th, 2024

5G编程聚合网

5G时代下一个聚合的编程学习网

热门标签

scrapy基础知识之 关于爬虫部分一些建议:

admin

11 月 28, 2021

1.尽量减少请求次数,能抓列表页就不抓详情页,减轻服务器压力,程序员都是混口饭吃不容易。

2.不要只看 Web 网站,还有手机 App 和 H5,这样的反爬虫措施一般比较少。

3.实际应用时候,一般防守方做到根据 IP 限制频次就结束了,除非很核心的数据,不会再进行更多的验证,毕竟成本的问题会考虑到。

4.如果真的对性能要求很高,可以考虑多线程(一些成熟的框架如 Scrapy都已支持),甚至分布式..

https://segmentfault.com/a/1190000005840672(携程技术中心 – 携程酒店研发部研发经理崔广宇 <爬虫与反爬虫> 技术分享

发表回复