随着大数据越来越火热，使用Python进行数据抓取成为了许多公司分析数据的方式，在使用爬虫多次抓取同一网站时，通常都会出现被网站的反爬虫措施给封禁ip的情况，为了解决这一问题，爬虫工作者一般都是用一下这几种方法：

　　1、放慢抓取速度，减小对于目标网站造成的压力，但会减少单位时间类的抓取量。

　　2、伪造cookies，若从浏览器中可以正常访问一个页面，则可以将浏览器中的cookies复制过来使用

　　3、伪造User-Agent，在请求头中把User-Agent设置成浏览器中的User-Agent，来伪造浏览器访问。

　　4、使用飞猪IPIP，使用代理IP之后可以让爬虫伪装自己的真实IP。

　　对于python爬虫来说，有时业务量繁重，分布式爬虫是最好的提升效率方式，而分布式爬虫又急切需要数目众多的IP资源，这一点免费IP是满足不了的，而且免费代理通常不提供高匿名的代理IP，所以不建议大家使用免费的代理IP。为了节约前期成本而使用免费ip代理，最后只会因为免费ip的劣质而导致苦不堪言，反而得不偿失。

　　要想有效突破反爬虫机制继续高频率抓取，使用一款优质的代理IP是必不可少的，这里就不得不推荐飞猪IP了—，飞猪IP拥有低廉的价格，强大的功能，用户通过官网下载软件，注册付费后即时开通，立即使用代理IP，享受100%无限制，支持自动清理cookie，一键换IP，爬虫数据人员的神兵器。