蜘蛛最新名称（蜘蛛最新名称叫什么）

1、百度蜘蛛:Baiduspider
百度蜘蛛最新名称为Baiduspider。Baiduspider-image百度抓取图片的蜘蛛。
常见百度旗下同类型蜘蛛另有:Baiduspider-mobile(抓取wap)、Baiduspider-image(抓取图片)、Baiduspider-video(抓取视频)、Baiduspider-news(抓取消息)。
注:以上百度蜘蛛今朝常见的是Baiduspider和Baiduspider-image两种。
2、谷歌蜘蛛:Googlebot但也有说是GoogleBot的。谷歌蜘蛛最新名称为“compatible; Googlebot/2.1;”。另有Googlebot-Mobile，是抓取wap内容的。
3、360蜘蛛:360Spider，是一个很“勤劳抓爬”的蜘蛛。
4、SOSO蜘蛛:Sosospider，也是一个“勤劳抓爬”奖的蜘蛛。
5、雅虎蜘蛛:“Yahoo! Slurp China”或者Yahoo!名称中带“Slurp”和空格，名称有空格robots里名称可以使用“Slurp”或者“Yahoo”单词描述，不知道有用无效。
6、有道蜘蛛:YoudaoBot，YodaoBot(两个名字都有，中文拼音少了个U字母读音不同很大嘎，这城市少?)
7、搜狗蜘蛛:Sogou News Spider搜狗蜘蛛还包括如下这些:Sogou webspider.Sogou inst spider、Sogouspider2、Sogoublog、Sogou News Spider、Sogou Orion spider ,(参考一些网站的robots文件，搜狗蜘蛛名称可以用Sogou概括，无法验证不知道有没有用)看看最权势巨子的百度的robots.txt，http://www.baidu.com/robots.txt就为Sogou搜狗蜘蛛费了不少字节，占了一大块领地。"Sogou web spider ; Sogou inst spider ; Sogou spider2;Sogoublog;SogouNews Spider; Sogou Orionspider”今朝6个，名称都带空格。线上常见"Sogou web spider/4.0";"Sogou News Spider/4.0";"Sogouinstspider/4.0"可觉得它颁个“占名为王”奖。
8、MSN蜘蛛:msnbot，msnbot-media(只见到msnbot-media在狂爬.….... )
9、必应蜘蛛:bingbot线上(compatible; bingbot/2.0;)
10、一搜蜘蛛:YisouSpider
11、Alexa蜘蛛:ia_archiver
12、宜sou蜘蛛:EasouSpider
13、马上蜘蛛:JikeSpider
14、一淘网蜘蛛:EtaoSpider
"Mozilla/5.0(compatible; EtaoSpider/1.0;http://省略/EtaoSpider)"
凭据上述蜘蛛中选择几个常用的许可抓取，其余的都可以通过robots屏障抓取。假如你临时空间流量
还足够使用，等流量重要了就保留几个常用的屏障掉其它蜘蛛以节流流量。至于那些蜘蛛抓取对网站能带来
有操纵的价值，网站的治理者眼睛是雪亮的。
另外还发现了如YandexBot、AhrefsBot和ezooms.bot这些蜘蛛，据说这些蜘蛛是国外噶。