qq:800819103
在线客服,实时响应qq群
在线客服,实时响应客服电话
13318873961如何爬取代理ip?在我们使用网络写脚本到指定网站抓取数据的时候,总是避免不了会被网站屏蔽IP,所以这个时候就需要一些代理IP,打开网页随便就能找到很多提供免费代理IP的网站做IP抓取,这里介绍抓取的是国内匿名代理IP。
第一步:HTML页面获取
通过观察我们可以发现,我们需要的信息的页面url有这样的一个规律:www.xxxxxx.com/nn/+页码。可是如果直接通过get方法访问的话会发现出现500错误,原因是在这个规律下的url虽然是get方法获得数据,但都有cookie认证。那么问题来了——怎么获得需要的cookie呢?我们第一次通过浏览器访问该网站的主页是能打开的,其网站的各个子模块都可以打开。一定在某个时间段内我们的浏览器获得了该网站设置的cookie。清楚浏览器cookie,重新打开该网站首页,通过开发者工具可以发现我们打开首页的时候没有上传cookie,而是网站会下发cookie。接着打开我们上面找到的规律url页面,比对一下,发现我们上传的cookie就是在首页下发的cookie。这样就有办法了——编写脚本的时候,先访问一下首页获得cookie,再将获得的cookie添加到后续的请求中。
第二步:分析html结构,使用BS4进行信息提取。
以上简单介绍了如何爬取代理IP,具体的代码还需要自己搜索一下。
相关文章内容简介
1 如何爬取代理ip?
如何爬取代理ip?在我们使用网络写脚本到指定网站抓取数据的时候,总是避免不了会被网站屏蔽IP,所以这个时候就需要一些代理IP,打开网页随便就能找到很多提供免费代理IP的网站做IP抓取,这里介绍抓取的是国内匿名代理IP。 第一步:HTML页面获取 通过观察我们可以发现,我们需要的信息的页面url有这样的一个规律:www.xxxxxx.com/nn/+页码。可是... [阅读全文]
最新标签
推荐阅读
20
2019-02
静态IP、动态IP、内网IP、外网IP的区别和优缺点
IP地址对上网有什么影响呢?每当连接网络时,都需要使用IP地址的,即使没有固定的IP使用,也是会自动获取IP地址连接上网。IP地址分很多种,比如静态IP、动态IP、内网IP、外网IP,这些IP代表
12
2019-05
IP代理软件如何选择?
网络上的ip代理软件种类非常多,有免费的也有收费的,让那些需要的用户在选择时挑花了眼,那么如何才能挑选到一个非常可靠的ip代理软件呢?既然要做选择,那么自然是需要对其有一定了
16
2018-11
使用代理IP还能查到真实IP吗
大家使用代理IP,主要目的几乎都是切换IP,隐藏自己真实的IP地址。这使用代理IP还能查到真实IP吗?哪些技术可以查到真实的IP呢?下面请跟黑洞代理一起去了解下关于代理IP的一些知识。
19
2018-12
跪求!电脑出现IP地址冲突该如何解决?
没有撞衫也没有追尾,就是IP地址冲突了~~刚刚还好好的,为什么弹出一条系统错误,电脑还上不了网了?电脑出现IP地址冲突该如何解决?跟着黑洞代理小编来看看吧!
热门文章