使用代理IP爬虫的好处其中一点就是我们不用担心我们的IP被网站封禁了,代理IP更换IP,这样我们就能够继续访问网站了,爬虫程序也能够继续进行。
ProxyHandler处理(代理服务器),使用代理IP,是爬虫的常用手段,通常使用UserAgent伪装浏览器爬取仍然可能被网站封了IP,但是我们使用代理IP就不怕它封了我们的IP了。
基本使用步骤:
1、设置代理地址
2、创建ProxyHandler
3、创建Opener
4、安装Opener#使用代理服务器访问猫眼
以下是代码部分:
#https://maoyan.com/
from urllib import request,error
'''
'''
if __name__=='__main__':
url="https://baidu.com/"
#1.设置代理地址
proxy={'http':'218.60.8.83:3129'}
#2.创建ProxyHandler
proxy_handler=request.ProxyHandler(proxy)
#3.创建Opener
opener=request.build_opener(proxy_handler)
#4.安装Opener
request.install_opener(opener)
#下面再进行访问url就会使用代理服务器
try:
rsp=request.urlopen(url)
html=rsp.read().decode()
print(html)
except error.HTTPError as e:
print(e)
except Exception as e:
print(e)
上面飞猪ip介绍了一个比较基础的爬取猫眼电影的操作,大家可以通过这几个步骤来了解代理IP的使用。
大客户
微信
置顶