![](/index/img/qc-side/indexLogo4.png)
qq:800819103
在线客服,实时响应![](/index/img/qc-side/indexLogo5.png)
qq群
在线客服,实时响应![](/index/img/qc-side/indexLogo6.png)
客服电话
13318873961如何用Python爬取代理IP并验证有效性?在爬虫工作的过程中,往往由于IP被限制了而无法进行下去,工程师们也是智计百出,购买代理IP,自己搭建IP池,甚至网上抓取免费代理IP。我们知道,网络上有很多提供免费代理IP的网站,我们可以选择其中一个或多个来进行代理IP的爬取并存储到csv文件中,并通过多进程来验证爬取IP的可用性。
通过requests和lxml进行网页的爬取和解析。
在爬取之前,我们首先设置请求头,模拟作为普通浏览器进行网页的访问。
headers = {
'accept': "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8",
'accept-encoding': "gzip, deflate",
'accept-language': "zh-CN,zh;q=0.9",
'cache-control': "no-cache",
'connection': "keep-alive",
'host': "www.******.com",
'if-none-match': "W/\"61f3e567b1a5028acee7804fa878a5ba\"",
'upgrade-insecure-requests': "1",
'user-agent': "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.119 Safari/537.36"
}
要爬取的页面结构非常简单,通过lxml的css选择器选择所有的ip地址和端口进行拼接,然后一行行的写入到csv文件中。
代码如下:
def getProxyList(target_url=TARGET_URL, pages='1'):
"""
爬取代理IP地址
:param target_url: 爬取的代理IP网址
:return:
""
proxyFile = open(FILE_NAME, "a+", newline="")
writer = csv.writer(proxyFile)
r = requests.get(target_url + pages, headers=headers, timeout=2.5)
document_tree = lxml.html.fromstring(r.text)
rows = document_tree.cssselect("#ip_list tr")
rows.pop(0)
for row in rows:
tds = row.cssselect("td")
proxy_ip = tds[1].text_content()
proxy_port = tds[2].text_content()
proxy_addr = tds[3].text_content().strip()
writer.writerow([proxy_ip, proxy_port, proxy_addr])
proxyFile.close()
自己设置好爬取的页面走个循环,爬取好的地址就写入到了csv文件中。不过之前发布的一些代理IP不能用的可能性较大,可以就爬取前5页左右即可。
在验证代理IP的可行性时,通过进程池添加验证每个代理IP的验证方法即可。通过requests的session可以持续的进行网络的访问。
def verifyProxies(verify_url, file_path=FILE_NAME):
session = requests.session()
proxyFile = open(FILE_NAME, "r+")
csv_reader = csv.reader(proxyFile)
p = Pool(10)
for row in csv_reader:
proxies = {"http": "http://" + row[0] + ":" + row[1]}
p.apply_async(verifyProxy, args=(verify_url, proxies, session))
p.close()
p.join()
proxyFile.close()
验证每个IP的方法就是通过给网页发送GET请求,然后根据返回的状态码进行判断,并执行相应的操作。在请求时设置了timeout的话,需要使用try-except抛出异常,否则当超过timeout设置的值时,会终止相应的进程。
功夫不负有心人,爬取了十万八千个免费代理IP后,经过验证,发现有效的IP只有八百六十六个,而延迟比较低的更少,只有三百六十五个,至于业务成功率那就更低了,当然不同的业务成功率各不相同,就不说了,但我们可以看出,免费代理IP的有效率实在是太低,对于新手练手,完全没问题,对于用来完成工作任务的朋友来说,完全玩不了,只能购买付费代理IP,或者搭建代理IP池,或者直接购买黑洞的独享IP池。
相关文章内容简介
1 如何用Python爬取代理IP并验证有效性?
如何用Python爬取代理IP并验证有效性?在爬虫工作的过程中,往往由于IP被限制了而无法进行下去,工程师们也是智计百出,购买代理IP,自己搭建IP池,甚至网上抓取免费代理IP。我们知道,网络上有很多提供免费代理IP的网站,我们可以选择其中一个或多个来进行代理IP的爬取并存储到csv文件中,并通过多进程来验证爬取IP的可用性。 通过requests和lxml... [阅读全文]
最新标签
推荐阅读
17
2019-04
Python编写IP受限解决方法
在做网络爬虫过程中,很多网站为有效遏制数据爬取和非法攻击等行为,为了保证普通用户访问速度和查询效果,网站系统增加了网络安全设备,强化了安全防护机制,预先设置了安全访问规则
14
2018-11
无法获取动态IP,怎么解决上不了网问题
虽然网络无处不在,但许多人都不知道上不了网怎么处理,比如怎么设置网络连接,获取不到IP怎么办,怎么更改IP地址等等。这些问题可能和线路连接、IP冲突、服务商绑定以及WAN口适配性...
19
2019-01
为什么要对IP进行动态管理?用动态IP地址有什么好处?
大部分人都是知道关于IP的,一个设备没有IP地址是无法上网的,不管是手机还是电脑、平板或是其他的设备要想连接网络,那必须有要个IP地址。全球几十亿的人上网,哪里来这么多的IP地址?
01
2019-07
采用代理ip工具访问网站慢?
当大家在用换ip软件时,经常碰上这类问题,就是比如大家在浏览国外域名时,通常是很慢,并且有时候不一定能连上。为什么会出现这样的问题,是由于在浏览某个网站时,假若是国内的网站
热门文章