![](/index/img/qc-side/indexLogo4.png)
qq:800819103
在线客服,实时响应![](/index/img/qc-side/indexLogo5.png)
qq群
在线客服,实时响应![](/index/img/qc-side/indexLogo6.png)
客服电话
13318873961大数据时代,企业需要采集大量的数据,并从中挖掘有价值的信息。大量数据的采集,普通的爬取方式满足不了需求,那么怎么提升爬虫的爬取效率?这就需要用到分布式爬虫,今天一起跟黑洞代理去了解一下python分布式爬虫框架,怎么提升爬虫的爬取效率。
Scrapy单机爬虫中有一个本地爬取队列Queue,这个队列是利用deque模块实现的。如果新的Request生成就会放到队列里面,随后Request被Scheduler调度。之后,Request交给Downloader执行爬取,简单的调度架构如下图所示。
如果两个Scheduler同时从队列里面取Request,每个Scheduler都有其对应的Downloader,那么在带宽足够、正常爬取且不考虑队列存取压力的情况下,爬取效率会有什么变化?没错,爬取效率会翻倍。
这样,Scheduler可以扩展多个,Downloader也可以扩展多个。而爬取队列Queue必须始终为一个,也就是所谓的共享爬取队列。这样才能保证Scheduer从队列里调度某个Request之后,其他Scheduler不会重复调度此Request,就可以做到多个Schduler同步爬取。这就是分布式爬虫的基本雏形,简单调度架构如下图所示。
我们需要做的就是在多台主机上同时运行爬虫任务协同爬取,而协同爬取的前提就是共享爬取队列。这样各台主机就不需要各自维护爬取队列,而是从共享爬取队列存取Request。但是各台主机还是有各自的Scheduler和Downloader,所以调度和下载功能分别完成。如果不考虑队列存取性能消耗,爬取效率还是会成倍提高。
由上可知,怎么提升爬虫的爬取效率的问题是可以解决的,通过实现python分布式爬虫可以提升爬取效率。
相关文章内容简介
1 怎么提升爬虫的爬取效率?实现分布式爬虫
大数据时代,企业需要采集大量的数据,并从中挖掘有价值的信息。大量数据的采集,普通的爬取方式满足不了需求,那么怎么提升爬虫的爬取效率?这就需要用到分布式爬虫,今天一起跟黑洞代理去了解一下python分布式爬虫框架,怎么提升爬虫的爬取效率。Scrapy单机爬虫中有一个本地爬取队列Queue,这个队列是利用deque模块实现的。如果新的Request生成就会放... [阅读全文]
最新标签
推荐阅读
05
2019-08
代理IP软件有哪些用处?
IP我们都不陌生,一台电脑只有一个IP来确定电脑的位置。想换IP也是可以的,就是用换IP的软件,那就是代理IP。很多人都知道,但并不知道代理IP软件有哪些用处。那么,换IP软件有什么作用?
12
2019-06
动态代理IP效果怎样?
如今网络时代,很多时候我们都需要借用代理IP来完成工作任务,常见的有营销,大数据等,都是利用其IP来更换本身的IP地址,实现再次访问。
17
2019-01
长期使用代理IP池怎么维护
一般上,如果需要使用大量的IP,这IP地址只能是动态的IP地址,否则无法满足需求,比较现在IP资源稀缺。代理IP池中的这些动态IP的有效时间长短不一,有些只有几分钟的有效时间。那么如何能
19
2019-06
http代理之间的级联
http代理之间的级联,二次代理,大家知道这是什么吗?其实二次代理就是两个代理的级联,有很多Proxy Server本来就支持级联,如Winproxy、Wingate,不是我们自己开代理,只是使用代理,所以不讨
热门文章