您的位置:首页 > 代理IP资讯
发布时间:2020-02-21 16:01:38
代理IP池有什么用

  看到网上关于爬虫的教程,有一个词会出现得非常频繁,不知道大家有没有留意到,那就是代理IP池。今天飞猪ip就要来给大家介绍代理IP池有什么用。



  什么是用户代理IP池?


  用户代理池就是将不同的用户代理组建成为一个池子,随后随机调用。


  作用:每次访问代表使用的浏览器不一样


  import urllib.request


  import re


  import random


  uapools=[


  'Mozilla/5.0(Windows NT 10.0;Win64;x64;rv:68.0)Gecko/20100101 Firefox/68.0',


  'Mozilla/5.0(Windows NT 10.0;WOW64)AppleWebKit/537.36(KHTML,like Gecko)Chrome/57.0.2987.98 Safari/537.36 LBBROWSER',


  'Mozilla/5.0(Windows NT 6.1;WOW64)AppleWebKit/535.1(KHTML,like Gecko)Chrome/14.0.835.163 Safari/535.1',


  'Mozilla/5.0(Windows;U;Windows NT 6.1;)AppleWebKit/534.12(KHTML,like Gecko)Maxthon/3.0 Safari/534.12',


  ]


  def ua(uapools):


  thisua=random.choice(uapools)


  print(thisua)


  headers=("User-Agent",thisua)


  opener=urllib.request.build_opener()


  opener.addheaders=[headers]


  urllib.request.install_opener(opener)


  for i in range(10):


  ua(uapools)


  thisurl="https://www.qiushibaike.com/text/page/"+str(i+1)+"/";


  data=urllib.request.urlopen(thisurl).read().decode("utf-8","ignore")


  pat='<div class="content">.*?<span>(.*?)</span>.*?</div>'


  res=re.compile(pat,re.S).findall(data)


  for j in range(len(res)):


  print(res[j])


  print('---------------------')


  简单的来说,代理IP池就是将可用的代理IP集中在一起,让它们配置在我们爬虫的程序当中,当一个IP失效之后,马上又另外一个IP接着使用。


上一篇 下一篇