一、数据来源:
1、这批搜狗爬虫(www.sogou.com)IP来源于尚贤达猎头网站采集数据;
2、数据采集时间段:2023年10月-2024年7月;
3、判断标准:主要根据用户代理是否包含“www.sogou.com”和IP核实。
二、搜狗爬虫(www.sogou.com)主要有4个用户代理
1、Sogou+web+spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)
2、Sogou+web+spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07)
3、Sogou+Push+Spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07??)
4、Sogou+web+spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07??)
5、Sogou+Pic+Spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07)
三、搜狗爬虫(www.sogou.com)IP地址:
主要有以下四个网段:
1、111.202.101.0/24
2、112.86.225.0/24
3、121.229.156.0/24
4、123.125.109.0/24
5、123.126.50.0/24
6、123.126.68.0/24
7、123.183.224.0/24
8、180.102.110.0/24
9、202.179.154.0/24
10、223.109.252.0/24
11、223.109.255.0/24
12、49.7.20.0/24
13、49.7.21.0/24
14、58.250.125.0/24
15、61.135.159.0/24
四、搜狗爬虫(www.sogou.com)的一些特点:
对网站没什么危害,抓取网站频繁,对资源消耗较大,可为网站带来的客户量次于百度和360.