![](/index/img/qc-side/indexLogo4.png)
qq:800819103
在线客服,实时响应![](/index/img/qc-side/indexLogo5.png)
qq群
在线客服,实时响应![](/index/img/qc-side/indexLogo6.png)
客服电话
13318873961用代理IP可以不被发现爬虫吗?网络爬虫在爬取目标网站的时候,总是不知不觉就被发现了,然后关进了小黑屋不见天日。那么,到底是什么行为触发了目标网站的反爬机制呢,只有找出了原因才能解决问题,才能避免下次掉进同一个坑里。让我们来看看有哪些行为会被反爬策略发现吧。
1、单一的访问频次过高,反人:普通人10秒访问一个网页, 爬虫一秒获取10个网页。
2、单一的ip出现非常规的流量,某个IP流量反差巨大。
3、大量的重复简单的网页浏览行为,有规律的访问相同网页。
4、 只下载html文档, 不下载js。
5、 在页面设置陷阱, 用户看不懂, 爬虫是可以的, 比如 hidden。
6、在页面写一段js代码, 浏览器直接执行, 程序不会执行。
7、判断请求头: 什么都变了,user-agent 万古不变。
这些行为比较明显,很容易被被反爬策略识别出来,要想不被识别,就要尽可能的模仿真实用户行为,可以看看以下一些策略,如果避免触发反爬策略。
1、多主机的策略, 解决单一ip的问题, 分布式爬取。
2、调整访问频次, 设置随机休眠时间,爬一会休息一下。
3、通过不断切换代理ip, 或者直接使用ip代理的形式。
4、 频繁的修改user-agent头。
5、Header中的Cache-Control修改为no-cache。
6、当返回状态码是403(服务器资源禁止访问),改变Header和IP。
ublic static void main(String[] args) throws Exception {
HttpGet httpGet = new HttpGet("https://news.163.com/");
//我是专门用来模拟浏览器,让我的请求看起来和真实的浏览器一样
httpGet.setHeader("Accept", "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8");
httpGet.setHeader("Accept-Encoding", "gzip, deflate, sdch, br");
httpGet.setHeader("Accept-Language", "zh-CN,zh;q=0.8");
httpGet.setHeader("Cache-Control", "no-cache");
httpGet.setHeader("Cookie", "_ntes_nnid=4b1a6bbc71e14269912bdc23980b3fb1,1531559784738; _ntes_nuid=4b1a6bbc71e14269912bdc23980b3fb1;");
httpGet.setHeader("Host", "news.163.com");
httpGet.setHeader("User-Agent", "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36");
httpGet.setHeader("referer","http://***.***.com/");
CloseableHttpClient httpClient = HttpClients.createDefault();
CloseableHttpResponse res = httpClient.execute(httpGet);
HttpEntity entity = res.getEntity();
String html = EntityUtils.toString(entity,"utf-8");
System.out.println(html);
}
相关文章内容简介
1 用代理IP可以不被发现爬虫吗?
用代理IP可以不被发现爬虫吗?网络爬虫在爬取目标网站的时候,总是不知不觉就被发现了,然后关进了小黑屋不见天日。那么,到底是什么行为触发了目标网站的反爬机制呢,只有找出了原因才能解决问题,才能避免下次掉进同一个坑里。让我们来看看有哪些行为会被反爬策略发现吧。 1、单一的访问频次过高,反人:普通人10秒访问一个网页,∵爬... [阅读全文]
最新标签
推荐阅读
27
2019-02
自动拨号更换IP:动态拨号VPS搭建方法
如果不想忍受免费代理IP低到离谱的IP有效率,也不想跟别人共用IP池,那么最好的方法便是自己搭建IP池,比方说使用vps拨号产生IP。这样的IP质量无疑是最好的,使用也是非常安全的,我们要想
16
2019-06
代理IP投票的好处
众所周知,代理IP代理IP就是将用户的真实IP进行替换,用另一个IP进行替换。代理IP的用处是很广的,除了可以用在注册抢购方面以外,当然还有其他的一些方面,例如在数据采集,推广补量投
10
2019-01
动态ip池如何搭建?三步便能搭建好动态ip池
动态ip池能够帮助爬虫提高爬取的效率,特别是大量的数据采集工作,更是需要使用动态ip池。那么爬虫爬取数据所需要的动态ip池如何搭建呢?
18
2019-06
免费代理IP的渠道
很多人都想知道,提供免费代理IP的渠道,如果能找到,这无疑是最好的,还可用省点钱了。
热门文章