![](/index/img/qc-side/indexLogo4.png)
qq:800819103
在线客服,实时响应![](/index/img/qc-side/indexLogo5.png)
qq群
在线客服,实时响应![](/index/img/qc-side/indexLogo6.png)
客服电话
13318873961如何用php定时验证代理IP是否可用?用php先搭建网络爬虫,今天就利用上次爬到的http代理IP讲一讲代理IP的验证。至于为什么说PHP是世界上最好的语言,我也不知道,听别人说的,我个人比较喜欢java,以后有机会与大家分享我的学习之路。
我们为什么需要对代理IP进行验证呢?要知道我们在网络中抓到的代理IP数量很大,但能用的往往连十之一二都不到,在使用前剔除掉不能用的代理IP就能提高我们的工作效率。
首先说说思路:上次我们已经将抓到的IP和端口都放进了我们的MySQL数据表中,要验证肯定需要取出来,然后通过PHP中curl函数设置代理,再访问百度或者其他能访问到的网站,通过返回的状态码是否等于200来判断代理IP是不是可以正常使用的。
由于代码太长,一些不必要的代码就不贴出来了,下面看看curl验证代理IP的核心代码。
//代理IP验证方法
functionGetHttpStatusCode($proxy){$curl=curl_init();curl_setopt($curl,CURLOPT_PROXY,$proxy);
//使用代理访问
curl_setopt($curl,CURLOPT_URL,"");
//获取内容
urlcurl_setopt($curl,CURLOPT_HEADER,1);
//获取http头信息
curl_setopt($curl,CURLOPT_NOBODY,1);
//不返回html的body信息
curl_setopt($curl,CURLOPT_RETURNTRANSFER,1);
//返回数据流,不直接输出
curl_setopt($curl,CURLOPT_TIMEOUT,5);
//超时时长,单位秒
curl_exec($curl);$rtn=curl_getinfo($curl,CURLINFO_HTTP_CODE);
curl_close($curl);return$rtn;}
调用GetHttpStatusCode(代理IP地址:端口)方法就能返回该代理IP在访问百度首页时所返回的状态码,在需要的地方对状态码进行判断就能加以利用了。
我在数据表中加入了抓取到代理IP的时间和代理IP被验证的时间,已经存活的时间,这样代理IP的稳定性就一目了然了。
这是验证后的结果,整整100个IP,最后就剩下10个左右,看来在使用之前对代理IP进行验证还是很有必要的。
推荐阅读:如何选择更好代理IP?
相关文章内容简介
1 如何用php定时验证代理IP是否可用
如何用php定时验证代理IP是否可用?用php先搭建网络爬虫,今天就利用上次爬到的http代理IP讲一讲代理IP的验证。至于为什么说PHP是世界上最好的语言,我也不知道,听别人说的,我个人比较喜欢java,以后有机会与大家分享我的学习之路。 我们为什么需要对代理IP进行验证呢?要知道我们在网络中抓到的代理IP数量很大,但能用的往往连十之一二都不到... [阅读全文]
最新标签
推荐阅读
14
2018-11
手机动态ip改成静态ip方法,手机设置静态ip的好处
大家有没有发现,有时候手机在连接WiFi时经常出现正在获取IP中,连接网络的速度比较慢,即使连接成功但也不能正常的使用网络,这是怎么回事呢?应该如何决解这问题?
11
2019-07
新媒体行业为什么要熟悉使用IP代理软件?
如今越来越多的人开始接触新媒体,因此很多公司和个人都开始借助新媒体来发展自己的事业。这种通过现代化移动互联网手段,通过利用微信、微博、贴吧等新兴媒体平台工具进行产品宣传、
24
2018-12
怎么修改手机代理设置?手机代理IP与动态IP设置
代理,可以突破网络限制,进行加速,并能隐藏我们的IP,越来越多的人开始使用代理,比如说爬虫使用代理突破IP限制,做网络营销可以通过换IP实现多账号登陆,游戏也可以多开,等等。
28
2018-11
爬虫采集数据行为合法吗?怎么判断?
对于网站来说,是非常欢迎搜索引擎的爬虫,但其他的爬虫就不一定喜欢了,因为大量的爬虫采集会影响网站服务器,影响用户体验。关键是还有些人专门采集用户数据,从中分析获利。
热门文章