发布时间:2020-02-21 16:01:38
看到网上关于爬虫的教程,有一个词会出现得非常频繁,不知道大家有没有留意到,那就是代理IP池。今天飞猪ip就要来给大家介绍代理IP池有什么用。

什么是用户代理IP池?
用户代理池就是将不同的用户代理组建成为一个池子,随后随机调用。
作用:每次访问代表使用的浏览器不一样
import urllib.request
import re
import random
uapools=[
'Mozilla/5.0(Windows NT 10.0;Win64;x64;rv:68.0)Gecko/20100101 Firefox/68.0',
'Mozilla/5.0(Windows NT 10.0;WOW64)AppleWebKit/537.36(KHTML,like Gecko)Chrome/57.0.2987.98 Safari/537.36 LBBROWSER',
'Mozilla/5.0(Windows NT 6.1;WOW64)AppleWebKit/535.1(KHTML,like Gecko)Chrome/14.0.835.163 Safari/535.1',
'Mozilla/5.0(Windows;U;Windows NT 6.1;)AppleWebKit/534.12(KHTML,like Gecko)Maxthon/3.0 Safari/534.12',
]
def ua(uapools):
thisua=random.choice(uapools)
print(thisua)
headers=("User-Agent",thisua)
opener=urllib.request.build_opener()
opener.addheaders=[headers]
urllib.request.install_opener(opener)
for i in range(10):
ua(uapools)
thisurl="https://www.qiushibaike.com/text/page/"+str(i+1)+"/";
data=urllib.request.urlopen(thisurl).read().decode("utf-8","ignore")
pat='<div class="content">.*?<span>(.*?)</span>.*?</div>'
res=re.compile(pat,re.S).findall(data)
for j in range(len(res)):
print(res[j])
print('---------------------')
简单的来说,代理IP池就是将可用的代理IP集中在一起,让它们配置在我们爬虫的程序当中,当一个IP失效之后,马上又另外一个IP接着使用。
大客户
微信
置顶