![](/index/img/qc-side/indexLogo4.png)
qq:800819103
在线客服,实时响应![](/index/img/qc-side/indexLogo5.png)
qq群
在线客服,实时响应![](/index/img/qc-side/indexLogo6.png)
客服电话
13318873961突破反爬虫的一个常用做法是使用代理IP,可以是作为初学者或者个人来说,买一些代理ip成本稍微高一些,因此最近写了一个开源项目IPProxys,用来为个人提供代理ip。
IPProxys原理:通过爬取各大代理网站提供的免费代理IP,进行去重,并验证ip的可用性,将有效的ip存储到sqlite中,并提供一个HTTP接口供爬虫程序获取ip。
IPProxys项目已经上传到github中,链接为https://github.com/qiyeboy/IPProxys。下面对整个项目工程进行一下说明。
api包:主要是实现http服务器,提供api接口(通过get请求,返回json数据)
data文件夹:主要是数据库文件的存储位置和qqwry.dat(可以查询ip的地理位置)
db包:主要是封装了一些数据库的操作
spider包:主要是爬虫的核心功能,爬取代理网站上的代理ip
test包:测试一些用例,不参与整个项目的运行
util包:提供一些工具类。其中的IPAddress.py查询ip的地理位置
validator包:用来测试ip地址是否可用
config.py:主要是配置信息(包括配置ip地址的解析方式和数据库的配置)
整个项目的代码量不大,大家可以根据自己的需求进行修改,也可以提出自己的想法和建议帮助我改进这个项目。
如何使用IPProxys项目呢?
1.将项目目录clone到当前文件夹
$ git clone
2.切换工程目录
$ cd IPProxys
3.运行脚本
python IPProxys.py
windows上运行效果如下图所示:
项目依赖项:
需要安装sqlite数据库
安装requests库:pip install requests
安装lxml: apt-get install python-lxml
当IPProxys运行起来后,外部的爬虫如何获取ip呢?
外部的爬虫只需要向IPProxys所在主机的8000端口发送GET请求即可。GET请求的参数为:
例如:
访问http://127.0.0.1:8000/?types=0&count=5&country=中国这个链接的含义是获取5个ip地址在中国的高匿代理。响应为JSON格式,返回数据为:[{"ip": "220.160.22.115", "port": 80}, {"ip": "183.129.151.130", "port": 80}, {"ip": "59.52.243.88", "port": 80}, {"ip": "112.228.35.24", "port": 8888}, {"ip": "106.75.176.4", "port": 80}]
一般爬取到的有效ip大约有60个左右,基本上满足个人的需要。
相关文章内容简介
1 突破反爬虫的利器——开源IP代理池
突破反爬虫的一个常用做法是使用代理IP,可以是作为初学者或者个人来说,买一些代理ip成本稍微高一些,因此最近写了一个开源项目IPProxys,用来为个人提供代理ip。IPProxys原理:通过爬取各大代理网站提供的免费代理IP,进行去重,并验证ip的可用性,将有效的ip存储到sqlite中,并提供一个HTTP接口供爬虫程序获取ip。IPProxys项目已经上传到github中,链接为https... [阅读全文]
最新标签
推荐阅读
09
2019-01
IP加速器怎么选择高速线路
游戏行业火爆,吸引了许多没有玩过游戏的小白进门,当小白首次接触IP加速器时,可能不知道IP加速器怎么选择高速线路的,今天小编就为大家介绍下IP加速器的使用方法。
13
2019-08
网络营销补量用代理IP安全吗
代理IP大家都知道,可以帮助我们隐藏真实IP,随意切换IP,帮助大家完成一些由于IP限制的工作。例如注册帐号、网络投票等。那么,网络营销补量用代理IP安全吗?
31
2019-07
为什么会用到代理?
在一大堆技术术语里,最为被大家所熟知的大概就是“网络爬虫”了。其实网络爬虫这个名字就已经特别好地表现出了这项技术的作用——像密密麻麻的虫子一样分布在网络上,爬行至每一个网
28
2018-12
用ip加速器会卡吗?IP加速器到底有没有加速效果?
现在各种游戏层出不穷,许多玩家为了多保证游戏的流畅度,常常使用游戏的加速器,比如黑洞代理IP加速器。但是有时候明明使用了加速器,反而感觉更卡了呢,各种卡都没法玩了。
热门文章