qq：800819103
在线客服，实时响应
qq群
在线客服，实时响应
客服电话
13318873961分布式ip代理池，可用率超高，赶快试试吧！历时大致两个月，到现在终于完成了高可用分布式代理IP池(https://github.com/SpiderClub/haipproxy)，目前开源在了Github上。写这个项目的原因主要有两点，一是本人平时的部分工作需要和网络爬虫打交道，代理IP在有的时候还可以发挥非常重要的作用，调研过一些开源的代理IP采集程序，发现在爬取、解析、校验、资源调度等这些方面总有一些不尽人意的地方;二是和一个网友(不严格的说算得上是伯乐)的交流让小编有了关于使用Scrapy来写分布式网络爬虫的一些想法，正好还可以借助这个机会来尝试证实这些想法。
架构设计
这篇文章的目的是阐述haipproxy的主要架构和流程。该项目模块是
基于Scrapy和Redis的分布式网络爬虫，用作IP爬取和校验，对应于项目的crawler
基于Redis实现的分布式任务调度工具，对应于项目的scheduler和redis_util.py
Crawler分为代理爬取和校验，两者实现思想类似，主要使用Scrapy的spider_idle信号和DontCloseSpider异常来阻止Scrapy在没有数据的时候关闭，灵感来自scrapy-redis(https://github.com/rmax/scrapy-redis)。
启动调度器，包括代理网络爬虫调度器和校验网络爬虫调度器。调度器会读取rules.py中待爬取的网站，将其编排成任务存入各个任务队列中
启动各个网络爬虫，包括IP爬取和校验程序。项目中网络爬虫和调度器都是高可用的，还可以根据实际情况进行分布式部署，无需改动代码。由于本文的目标不是写成该项目的详细使用文档，所以省略了如指定启动网络爬虫类型和调度器类型的介绍
代理IP采集网络爬虫启动后会到对应的任务队列中获取任务并执行，再把获取到的结果存入一个init队列中
init队列由一个特殊的校验器HttpbinInitValidator进行消费，它会过滤掉透明代理，再把可用代理输入各个Validated队列中
调度器会定时从Validated队列中获取代理IP，再将其存入一个临时的队列。这里用一个临时队列是为了让校验更加公平，如果直接从Validated队列中获取资源进行校验，那么会增大不公平性
这时候各个校验器(非init校验器)会从对应的临时队列中获取待校验的IP并对其进行校验，此处省略校验细节
校验完成后再将其放回到Validated队列中，等待下一轮校验
请求成功率(体现为分数)、响应速度和最近校验时间满足settings.py所配置要求的代理IP将会被网络爬虫客户端所消费
为了屏蔽各个调用语言的差异性，目前实现的客户端是squid客户端，它还可以作为网络爬虫客户端的中间件
到此，整个流程便完了。
相关文章内容简介
1 分布式ip代理池，可用率超高，赶快试试吧！
分布式ip代理池，可用率超高，赶快试试吧！历时大致两个月，到现在终于完成了高可用分布式代理IP池(https://github.com/SpiderClub/haipproxy)，目前开源在了Github上。写这个项目的原因主要有两点，一是本人平时的部分工作需要和网络爬虫打交道，代理IP在有的时候还可以发挥非常重要的作用，调研过一些开源的代理IP采集程序，发现在爬取、解析、校验、资源... [阅读全文]
最新标签
推荐阅读
30
2019-01
使用代理切换IP连不上网怎么回事
很多人在切换IP当中，发现切换自己的IP地址后连接不上网络的问题，这是怎么回事呢？这到底是代理的问题，还是IP本身问题，或者是设备的问题？怎么找出原因，并解决的？
21
2019-08
如何识别高匿代理ip？
在国内的http代理市场中，稍加留神就会发现一个问题，那就是收费普遍比较高，因此大多数用户在电脑代理IP的购买上都很苦恼，那么有没有什么解决这个问题的方法呢其实质优价廉的代理IP还
07
2019-05
付费代理IP或免费代理IP怎么选呢？
免费代理IP不会提供最佳性能，但它们是偶尔使用的合理选择。在使用代理之前研究代理的声誉非常重要，而不是在列表中选择第一个代理。性能将是一个问题，但如果您不经常需要代理，则可
22
2019-04
动态IP如何帮助爬虫爬取网易社会新闻内容
网上每天都有大量的新闻内容出现，如何快速获取这些内容呢?今天黑洞代理IP就为大家分享一下，爬取是如何爬取网易的社会新闻内容的。首先我们可以先打开目标页面，右键检查，查找我们需
热门文章
