我们在使用Python爬虫爬取一个网站时，通常会频繁访问该网站。假如一个网站它会检测某一段时间某个IP的访问次数，如果访问次数过多，它会禁止你的访问。所以你可以设置一些代理服务器来帮助你做工作，每隔一段时间换一个代理ip，这样便不会出现因为频繁访问而导致禁止访问的现象。

　　刚开始入门python爬虫时，没有IP就去爬取免费代理IP，采集办法很简单，访问页面，正则/xpath提取后保存即可。可以肯定的是免费代理IP资源虽然获取简单，但大部分都是不能用的，面对这些采集回来的代理IP不能直接使用，可以写个检测程序不断的去筛选。如果你需求数量庞大，采集回来的代理IP显然无法满足，这时候付费代理IP就是你不二选择。

　　普通的匿名代理IP能隐藏客户机的真是IP，但是也会改变我们的请求信息，服务器端有可能会认为我们使用了代理。不过使用此种代理时，虽然被访问的网站不能知道客户端的IP地址，但仍然可以知道你在使用代理，当然某些能够侦测IP的网页仍然可以查到客户端的IP。

　　而高度匿名代理不改变客户机的请求，这样在服务器看来就像有个真正的客户浏览器在访问它，这时客户的真实IP是隐藏的，服务器端不会认为我们使用了代理。

　　因此，爬虫程序需要使用到爬虫代理ip时，尽量选择普通匿名代理和高匿名代理。另外，如果要保证数据不被代理服务器知道，推荐使用HTTPS协议的代理。

　　飞猪IP是一家提供大量代理IP资源供应商，拥有包含国内各地区的高质量高匿名代理IP，IP质量和稳定性均佳，十分适合python爬虫使用。对于有兴趣的开发者，飞猪IP支持免费试用，选择最对的代理IP，才是python爬虫最好的选择。