![](/index/img/qc-side/indexLogo4.png)
qq:800819103
在线客服,实时响应![](/index/img/qc-side/indexLogo5.png)
qq群
在线客服,实时响应![](/index/img/qc-side/indexLogo6.png)
客服电话
13318873961如何打造c#爬虫框架
一 ,为什么要造轮子
有兴趣的同学可以去各大招聘网站看一下爬虫工程师的要求,大多是JAVA,PYTHON甚至于还有NODEJS,C++,再或者在开源中国查询C#的爬虫,仅有几个非常简单或是几年没有更新的项目。从我看的一些文章来说,单纯性能上.NET对比JAVA,PYTHON并没有处于弱势,另根据我多年的开发经验大多爬虫性能瓶颈在并发下载(网速)、IP池,因此我认为用C#写一个爬虫框架绝对是可行的,那么为什么我大.NET没有一个强大的爬虫框架呢?说真的我不知道,可能爬虫框架核心上比较简单而没有被大牛看上,也可能.NET的开发人员没有别的语言的开发人员勤奋,或是.NET的开源氛围没有别的语言高。随着.NET开源消息的公布,我觉得是时候开发一个跨平台,跨语言的爬虫框架了。我不喜欢复杂的东西,总是觉得复杂的东西容易出问题,可能跟我个人能力有限,驾驭不了有关。所以设计DotnetSpider的时候是参考JAVA下一个轻量级爬虫框架webmagic,但是肯定有我自己的理解和改进在内的。
二 ,框架设计
其实爬虫的设计我觉得还是挺成熟的,大部分都会拿出下图来说事,由于我是参考的webmagic,所以也少不得得贴上来给大家一看(图片是直接从webmagic上拿的)
Scheduler:负责URL的调度,可以实现如Queue, PriorityScheduler, RedisScheduler(可用于分布式)等等
Downloader: 负责下载HTML,可以实现如HttpDownloader, 浏览器的Downloader(WebDriver), FiddlerDownloader,本地文件Downloader等等
PageProcesser: 负责HTML解析及新的符合规则的URL解析,从上图可以看到传入Processer的是Page对象,里面包含了下载好的完整HTML或者JSON数据
Pipeline: 负责数据的存储, 可以实现如MySql, MySqlFile,MSSQL,MongoDb等等
三 ,与别的爬虫的差异
使用JSON定义爬虫,所以可以最终实现跨语言(不同语言只要写一个JSON转换的provider就好)
由于使用JSON做解析,所以可以实现类中属性是别的类的情况(仅限MongoDB, 关系型数据库不好存这种数据)\
自动建表
有.NET CORE版本,因此可以跨平台(已经在LINUX下运行大量任务了)
有感于IP代理的不稳定性,因此代理模块没有细致测试使用,而是实现了另一种换IP手段(ADSL拨号)
加入基本的数据验证模块
四 ,最基本使用方法
最基本的使用方法是不需要引用Extension, 引用Common, Core, JLog就好,然后需要你自己实现IPipeline和Processer
使用我们的代理云有哪些优势?
1分布式代理IP数万代理IP节点分布全国各个省市,IP段无重复。
2支持多线程高并发使用。
3家庭宽带线路所有资源均来自家庭宽带终端,IP绿色纯净,适用所有项目。
4多项使用授权使用代理IP时需要用户名密码或IP白名单绑定,后台自由切换。
5长效+HTTPS所有代理IP支持HTTPS协议,使用无需客户端支持,代理IP平均使用时长高达4小时
相关文章内容简介
1 如何打造c#爬虫框架
如何打造c#爬虫框架 一∵,为什么要造轮子 有兴趣的同学可以去各大招聘网站看一下爬虫工程师的要求,大多是JAVA,PYTHON甚至于还有NODEJS,C++,再或者在开源中国查询C#的爬虫,仅有几个非常简单或是几年没有更新的项目。从我看的一些文章来说,单纯性能上.NET对比JAVA,PYTHON并没有处于弱势,另根据我多年的开发经验大多爬虫性能瓶颈在并发下... [阅读全文]
最新标签
推荐阅读
15
2018-12
怎么打造高权重的账号,养号也有技巧
每天平台的账号都是分等级的,也比较难升上去,越高等级的账号,权力越大,那么这账号要怎么养呢?怎么打造高权重的账号?
11
2018-10
什么工具可以切换IP?黑洞代理ip拿走不谢
做过网络营销推广的朋友,或者喜欢玩私服游戏的朋友 ,经常会需要时不时的换IP,为什么会这么说呢,下面我们把原因一一道来到?
19
2019-01
购买IP代理这三个重要因素要注意!
其实IP代理主要用途越来越广,不过免费的的IP代理是十分不稳定的,也可以说其IP稳定性是十分极低的,一般上来讲,付费的IP代理,其稳定性都特别不错的,基本上IP可用率在90%以上的,除非
21
2018-12
什么免费推广平台效果好
现在各种类型的平台都非常多,但也没有那么多的精力去经营如此多的平台,也不是所有平台都做效果就更好了,因为每个平台的主流人群,以及自身品牌产品定位不同,即使有些平台做得好.
热门文章