爬虫频繁更换用户代理(UA)和IP能绕过反爬虫机制吗?

avatar
作者
猴君
阅读量:0

今天捕捉到一个网页爬虫,IP地址为:110.42.66.212,UserAgent在短短2小时内换了17个,抓取了62个页面,因触发反爬规则被封。

序号UserAgent
1Googlebot/2.1+(+http://www.googlebot.com/bot.html)
2(compatible;+Baiduspider/2.0;++http://www.baidu.com/search/spider.html
3AppleWebKit/534.46+(KHTML,like+Gecko)+Version/5.1+Mobile+Safari/10600.6.3
4Sogou+Push+Spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07)
5Mozilla/5.0+(compatible;+Googlebot/2.1;++http://www.google.com/bot.html)
6Mozilla/4.0+(compatible;+MSIE+9.0;+Windows+NT+6.1)
7Python-urllib/3.10
8iaskspider/2.0(+http://iask.com/help/help_index.html)
9Sogou+web+spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07)
10Mozilla/5.0+(compatible;+Yahoo!+Slurp;+http://help.yahoo.com/help/us/ysearch/slurp??)
11Googlebot/2.1+(+http://www.google.com/bot.html)
12Mozilla/5.0+(compatible;+Yahoo!+Slurp+China;+http://misc.yahoo.com.cn/help.html)
13Mozilla/5.0+(compatible;+Baiduspider/2.0;++http://www.baidu.com/search/spider.html??
14Mozilla/5.0+(Linux;u;Android+4.2.2;zh-cn;)
15Mozilla/5.0+(compatible;+YodaoBot/1.0;+http://www.yodao.com/help/webmaster/spider/;+)
16msnbot/1.0+(+http://search.msn.com/msnbot.htm)
17Mozilla/5.0+(compatible;+iaskspider/1.0;+MSIE+6.0)

我认为频繁更换UA并不能解决爬虫被封的问题。更换IP也不能保证绕过反爬虫机制,因为涉及到抓取频率,如果频率过低,费时长且没有效率,迟早要被反爬虫机制识别;频率过高(比如一秒中抓取两三个页面),则很快就会触发反爬虫规则。

文章来源于尚贤达猎头公司谭工

广告一刻

为您即时展示最新活动产品广告消息,让您随时掌握产品活动新动态!