qq:800819103
在线客服,实时响应qq群
在线客服,实时响应客服电话
13318873961Python爬虫常用的小技巧-设置代理IP?在学习Python爬虫的时候,经常会遇见所要爬取的网站采取了反爬取技术导致爬取失败。高强度、高效率地爬取网页信息常常会给网站服务器带来巨大压力,所以同一个IP反复爬取同一个网页,就很可能被封,这里讲述一个爬虫技巧,设置代理IP
这里介绍一下免费获取代理IP的方法,这个方法的优点就是免费,但是缺点就是爬取后存在很多不能用的
IP地址取自国内髙匿代理IP网站,黑洞代理,我们爬取首页IP地址就足够一般使用,或者你也可以爬取第一页,第二页…的
配置环境
安装requests库
安装bs4库
安装lxml库
具体代码
话不多说直接上代码吧
函数get_ip_list(url, headers)传入url和headers,最后返回一个IP列表,列表的元素类似122.114.31.177:808格式,这个列表包括国内髙匿代理IP网站首页所有IP地址和端口
函数get_random_ip(ip_list)传入第一个函数得到的列表,返回一个随机的proxies,这个proxies可以传入到requests的get方法中,这样就可以做到每次运行都使用不同的IP访问被爬取的网站,有效地避免了真实IP被封的风险
proxies的格式是一个字典:{‘http’: ‘http://122.114.31.177:808‘},可以将下面的执行也封装为方法
对于抓取IP这个,犀牛代理服务器做了反爬处理,如果你频繁去抓取的话,服务器会主动返回503错误,提示block,所以在请求的时候可以先一次请求完保存一个文件,来读取这个文件,或者爬取一个ip使用几分钟后,再去爬取一次,相当于加一个定时功能
代理IP的使用
运行上面的代码会得到一个随机的proxies,把它直接传入requests的get方法中即可
res = requests.get(url, headers=headers, proxies=proxies)
这里想提醒的是,免费的代理IP稳定性还需要商榷,建议如何是大量的进行信息爬取的话还是购买一些代理IP比较好
相关文章内容简介
1 Python爬虫常用的小技巧-设置代理IP
Python爬虫常用的小技巧-设置代理IP?在学习Python爬虫的时候,经常会遇见所要爬取的网站采取了反爬取技术导致爬取失败。高强度、高效率地爬取网页信息常常会给网站服务器带来巨大压力,所以同一个IP反复爬取同一个网页,就很可能被封,这里讲述一个爬虫技巧,设置代理IP 这里介绍一下免费获取代理IP的方法,这个方法的优点就是免费,但是缺点... [阅读全文]
最新标签
推荐阅读
10
2019-04
出色的爬虫就不需要代理IP了吗?
出色的爬虫就不需要代理IP了吗?网络上承载着海量的网站的信息,爬虫的也要耗费巨大的工作量,因此爬虫程序的性能是十分关键的。不同的应用对应的爬虫也不一样,相对的战略都不一样,
03
2019-01
一张图让你看懂动态IP和外网IP的含义
我们都了解我国是1个IPV4地址严重欠缺的发展中国家,因此我们的拨号光纤宽带一直全是动态IP,都没有固定IP,之后更过分的是许多中小城市出现了内网IP,还有我们所有的二级光纤宽带ISP提供
01
2019-07
免费代理ip和付费代理ip该如何选择?
我们使用IP代理通常就是为了隐藏真实IP达到匿名效果,并突破自身IP访问限制,以实现网络营销工作的快捷高效。现在市面上,代理服务千千万万,面对免费和付费我们又该如何选择?是选择免
14
2018-11
无法获取动态IP,怎么解决上不了网问题
虽然网络无处不在,但许多人都不知道上不了网怎么处理,比如怎么设置网络连接,获取不到IP怎么办,怎么更改IP地址等等。这些问题可能和线路连接、IP冲突、服务商绑定以及WAN口适配性...
热门文章