这个百度蜘蛛是真的还是假的?
zhongziso大佬:
- 220.181.51.94 – – [12/Jan/2021:16:46:53 +0800] "GET / HTTP/1.1" 301 0 "-" "Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.htmlxA3xA9"
- 220.181.51.121 – – [12/Jan/2021:16:47:51 +0800] "GET / HTTP/1.1" 301 0 "-" "Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.htmlxA3xA9"
Alicloud大佬:
百度蜘蛛的UA是Android?
zhongziso大佬:
百度蜘蛛的UA是Android?
是假的吗?
苁林老鬼大佬:
百度蜘蛛的UA是Android?
百度 有移动蜘蛛。。 你不看百度站长平台吗
zhongziso大佬:
这个ip好像是真的蜘蛛,只不过是移动蜘蛛,但是不知道为什么抓取会显示404
苁林老鬼大佬:
这个ip好像是真的蜘蛛,只不过是移动蜘蛛,但是不知道为什么抓取会显示404 …
你要检查 他抓取的页面存在不。。