做网络爬虫一般对代理IP的需求量比较大。因为在爬取网站信息的过程中，很多网站做了反爬虫策略，可能会对每个IP做频次控制。这样我们在爬取网站时就需要很多代理IP。

　　一般通过一下几种途径获取到ip：

　　1.从免费的网站上获取，获取的工作量非常大，ip可用率低，质量没有保障，获取到仅有的ip还未必安全，所以一般专业爬虫的工作者，不会去抓取免费代理ip。

　　2.在平台购买现成收费的代理ip，ip质量高，高匿安全稳定，ip速度快，从而节约更多的时间去增加工作效率，如飞猪IP代理ip就是非常不错代理软件平台，ip丰富，自建机房比遍布全国，专业技术团队，优质的售后服务，是一家值得信赖的高质量代理ip服务商。

　　3.自己搭建代理服务器，建立独立机房，完全按自己的要求去搭建，代理ip绝对完美，但是搭建成本非常高，后期还需要专业的人定期代理维护，在性价比的情况下，还是不太适合适用。

　　本文的代理IP池是通过爬虫事先从多个免费网站上获取代理IP之后，再做检查判断IP是否可用，可用的话就存放到MongoDB中，最后展示到前端的页面上。