qq：800819103
在线客服，实时响应
qq群
在线客服，实时响应
客服电话
13318873961Python爬虫常用的小技巧-设置代理IP?在学习Python爬虫的时候，经常会遇见所要爬取的网站采取了反爬取技术导致爬取失败。高强度、高效率地爬取网页信息常常会给网站服务器带来巨大压力，所以同一个IP反复爬取同一个网页，就很可能被封，这里讲述一个爬虫技巧，设置代理IP
这里介绍一下免费获取代理IP的方法，这个方法的优点就是免费，但是缺点就是爬取后存在很多不能用的
IP地址取自国内髙匿代理IP网站，黑洞代理，我们爬取首页IP地址就足够一般使用，或者你也可以爬取第一页，第二页…的
配置环境
安装requests库
安装bs4库
安装lxml库
具体代码
话不多说直接上代码吧
函数get_ip_list(url, headers)传入url和headers，最后返回一个IP列表，列表的元素类似122.114.31.177:808格式，这个列表包括国内髙匿代理IP网站首页所有IP地址和端口
函数get_random_ip(ip_list)传入第一个函数得到的列表，返回一个随机的proxies，这个proxies可以传入到requests的get方法中，这样就可以做到每次运行都使用不同的IP访问被爬取的网站，有效地避免了真实IP被封的风险
proxies的格式是一个字典：{‘http’: ‘http://122.114.31.177:808‘}，可以将下面的执行也封装为方法
对于抓取IP这个，犀牛代理服务器做了反爬处理，如果你频繁去抓取的话，服务器会主动返回503错误，提示block，所以在请求的时候可以先一次请求完保存一个文件，来读取这个文件，或者爬取一个ip使用几分钟后，再去爬取一次，相当于加一个定时功能
代理IP的使用
运行上面的代码会得到一个随机的proxies，把它直接传入requests的get方法中即可
res = requests.get(url, headers=headers, proxies=proxies)
这里想提醒的是，免费的代理IP稳定性还需要商榷，建议如何是大量的进行信息爬取的话还是购买一些代理IP比较好
相关文章内容简介
1 Python爬虫常用的小技巧-设置代理IP
Python爬虫常用的小技巧-设置代理IP?在学习Python爬虫的时候，经常会遇见所要爬取的网站采取了反爬取技术导致爬取失败。高强度、高效率地爬取网页信息常常会给网站服务器带来巨大压力，所以同一个IP反复爬取同一个网页，就很可能被封，这里讲述一个爬虫技巧，设置代理IP 这里介绍一下免费获取代理IP的方法，这个方法的优点就是免费，但是缺点... [阅读全文]
最新标签
推荐阅读
30
2019-04
用代理IP可以不被发现爬虫吗？
网络爬虫在爬取目标网站的时候，总是不知不觉就被发现了，然后关进了小黑屋不见天日。那么，到底是什么行为触发了目标网站的反爬机制呢，只有找出了原因才能解决问题，才能避免下次掉
18
2018-12
怎么建爬虫的IP池？三步搭建IP池
爬虫抓数据都要使用IP进行切换，否则就只能慢悠悠的采集数据，但如果使用这种方法，就没有快速采集的意义了。因此，要想大量的采集数据，是少不了使用IP池的，对于爬虫使用的IP池...
27
2019-02
自动拨号更换IP：动态拨号VPS搭建方法
如果不想忍受免费代理IP低到离谱的IP有效率，也不想跟别人共用IP池，那么最好的方法便是自己搭建IP池，比方说使用vps拨号产生IP。这样的IP质量无疑是最好的，使用也是非常安全的，我们要想
18
2019-06
代理IP的有效性受地域和时间影响
代理IP的有效性受地域和时间影响，为什么呢？很多东西都是有时效的，就像食物都是有保质期，代理IP也不例外，这也就是为什么在使用代理IP的过程中有时候会遇到报错的原因之一。
热门文章
