![](/index/img/qc-side/indexLogo4.png)
qq:800819103
在线客服,实时响应![](/index/img/qc-side/indexLogo5.png)
qq群
在线客服,实时响应![](/index/img/qc-side/indexLogo6.png)
客服电话
13318873961如何使用代理IP来解决爬虫被封的问题?在大量爬取某个网站时,突然被该网站封了IP,再也爬不动了。研究其反爬虫策略时发现,当单个IP访问次数达到某个阈值时,将会限制当天访问。爬虫不能停,工作任务必须按时完成,怎么办呢?同事告知:使用代理IP来解决。
在同事的介绍下,买了黑洞代理IP的一手私密代理IP,接下来就是使用代理IP来继续爬虫工作了。通过python官方文档得知,可用urllib库的request方法中的ProxyHandler方法,build_opener方法,install_opener方法来使用代理IP。
官方文档很官方,有点难以理解,下面是部分关键文档,一起来看下:
class urllib.request.ProxyHandler(proxies=None)
Cause requests to go through a proxy. If proxies is given, it must be a dictionary mapping protocol names to URLs of proxies.(通过代理方法请求,如果给定一个代理,它必须是一个字典映射,key为协议,value为URLs或者代理ip。)
urllib.request.build_opener([handler, ...])
Return an OpenerDirector instance, which chains the handlers in the order given.(build_opener方法返回一个链接着给定顺序的handler的OpenerDirector实例。)
urllib.request.install_opener(opener)
Install an OpenerDirector instance as the default global opener.(install_opener方法安装OpenerDirector实例作为默认的全局opener。)
是不是云里雾里的,如果这样理顺下,就会发现其实很简单:
1、将代理IP及其协议载入ProxyHandler赋给一个opener_support变量;
2、将opener_support载入build_opener方法,创建opener;
3、安装opener。
具体代码如下:
from urllib import request
def ProxySpider(url, proxy_ip, header):
opener_support = request.ProxyHandler({'http': proxy_ip})
opener = request.build_opener(opener_support)
request.install_opener(opener)
req = request.Request(url, headers=header)
rsp = request.urlopen(req).read()
return rsp
有了代理IP,又学会了使用代理IP来做爬虫,这下可以不用担心被目标网站限制了,爬虫工作效率直线上线,按时完成任务不在话下。
相关文章内容简介
1 如何使用代理IP来解决爬虫被封的问题?
如何使用代理IP来解决爬虫被封的问题?在大量爬取某个网站时,突然被该网站封了IP,再也爬不动了。研究其反爬虫策略时发现,当单个IP访问次数达到某个阈值时,将会限制当天访问。爬虫不能停,工作任务必须按时完成,怎么办呢?同事告知:使用代理IP来解决。 在同事的介绍下,买了黑洞代理IP的一手私密代理IP,接下来就是使用代理IP来继续爬... [阅读全文]
最新标签
推荐阅读
22
2019-05
https代理ip是好的选择吗?
https代理ip是一个安全高效的选择 对于用户来说,无论选择什么样的代理服务,其首要考虑的因素都是安全高效。但是如今代理形式众多,即使用户每一次做出的选择都是深思熟虑用户做出的,
17
2019-07
http代理ip哪里有?
通过程序扫IP段、端口找出来的临时性代理。比如说在百度搜HTTP代理、免费代理啊这之类的,都不怎么需要购买,但是重复率很高,而且可用率不高
19
2019-04
动态ip软件使用前,这几个概念你必须弄懂!
代理(英语:Proxy)也称网络代理,是一种特殊的网络服务,允许一个网络终端(一般为客户端)通过这个服务与另一个网络终端(一般为服务器)进行非直接的连接。一些网关、路由器等网络安全
17
2019-05
好用的代理IP软件指哪方面好用?
近几年,大数据时代蓬勃发展,得数据资源者得天下。代理IP作为时下网络重要工具之一,已成为众多网友竞相追捧的对象。
热门文章