您的位置:首页 > 代理IP资讯
发布时间:2021-02-20 17:00:14
HTTP代理的各类反爬虫策略

网络爬虫技术已经成了很普及网络技术,对于一个内容型驱动的网络站点来说,受到网络爬虫技术的光顾是不可避免的。优秀的爬虫技术不会干扰网站的正常运营,而糟糕的爬虫技术会带来很多麻烦,因为它们的页面抓取能力差,经常并发几十上百个请求循环重复,加大了网络站点的访问压力,导致站点访问速度缓慢,甚至无法访问。


网站为避免这种情况的发生,会运用到反爬技术。一般从三个方面反爬虫:一般用户请求的Headers,一般用户行为,网络站点目录和数据加载方式。 

1.通过Headers反爬虫技术  

从一般用户请求的Headers反爬虫技术是最常见的反爬虫技术策略。很多网络站点都会对Headers的User-Agent进行检测,还有一部分网络站点会对Referer进行检测(一些资源网络站点的防盗链就是检测Referer)。如果遇到了这类反爬虫技术机制,可以直接在爬虫技术中添加Headers,将浏览器的User-Agent复制到爬虫技术的Headers中;或者将Referer值修改为目标网络站点域名。对于检测Headers的反爬虫技术,在爬虫技术中修改或者添加Headers就能很好的绕过。

2.基于一般用户行为反爬虫技术

还有一部分网络站点是通过检测一般用户行为,例如同一IP短时间内多次访问同一页面,或者同一账户短时间内多次进行相同操作。

大多数网络站点都是前一种情况,对于这种情况,使用IP代理就可以解决,比如飞猪HTTP代理,多平台适用,遍布全国的自营服务器节点。有了大量代理IP后可以每请求几次更换一个IP,这在requests或者urllib2中很容易做到,这样就能很容易的绕过第一种反爬虫技术。

对于第二种情况,可以在每次请求后随机间隔几秒再进行下一次请求。有些有逻辑漏洞的网络站点,可以通过请求几次,退出登录,重新登录,继续请求来绕过同一账号短时间内不能多次进行相同请求的限制。

3.动态页面的反爬虫技术   

上述的几种情况大多都是出现在静态页面,还有一部分网络站点,我们需要抓取的数据是通过ajax请求得到,或者通过Java生成的。首先用Firebug或者HttpFox对网络请求进行分析。如果能够找到ajax请求,也能分析出具体的参数和响应的具体含义,我们就能采用上面的方法,直接利用requests或者urllib2模拟ajax请求,对响应的json进行分析得到需要的数据。

反爬虫和爬虫相辅相生,遵守目标站点的规则才是利人利己的好爬虫。



上一篇 下一篇