您的位置:首页 > 代理IP资讯
发布时间:2020-02-20 17:18:17
怎么爬取猫眼票房的数据

  使用代理IP爬虫的好处其中一点就是我们不用担心我们的IP被网站封禁了,代理IP更换IP,这样我们就能够继续访问网站了,爬虫程序也能够继续进行。

  ProxyHandler处理(代理服务器),使用代理IP,是爬虫的常用手段,通常使用UserAgent伪装浏览器爬取仍然可能被网站封了IP,但是我们使用代理IP就不怕它封了我们的IP了。


  基本使用步骤:


  1、设置代理地址


  2、创建ProxyHandler


  3、创建Opener


  4、安装Opener#使用代理服务器访问猫眼


  以下是代码部分:


  #https://maoyan.com/


  from urllib import request,error


  '''


  '''


  if __name__=='__main__':


  url="https://baidu.com/"


  #1.设置代理地址


  proxy={'http':'218.60.8.83:3129'}


  #2.创建ProxyHandler


  proxy_handler=request.ProxyHandler(proxy)


  #3.创建Opener


  opener=request.build_opener(proxy_handler)


  #4.安装Opener


  request.install_opener(opener)


  #下面再进行访问url就会使用代理服务器


  try:


  rsp=request.urlopen(url)


  html=rsp.read().decode()


  print(html)


  except error.HTTPError as e:


  print(e)


  except Exception as e:


  print(e)


  上面飞猪ip介绍了一个比较基础的爬取猫眼电影的操作,大家可以通过这几个步骤来了解代理IP的使用。


上一篇 下一篇