谷歌舆图2021高清卫星舆图手机版官网_谷歌舆图高清卫星舆图2020免费下载

　　robots文件有什么用呢？

　　1、屏障网站内的死链接。

　　2、屏障搜索引擎蜘蛛抓取站点内重复内容和页面。

　　3、避免搜索引擎索引网站隐私性的内容。

　　4、可以屏障一些网站中比较大的文件，如：图片，音乐，视频等，节省办事器资源。

　　5、配置网站地图连接，利便指导蜘蛛爬取页面。

　　想要进修网站搭建以及SEO的搭档可以来这个群：215--113--587 在这里，大神带你进入互联网的全国，在这里，你可以进修到你想要进修到的器材，在这里，绝对不会让你失望！

　　一个网站写有robots文件是很有必要的，如果网站中重复的页面、内容或许404信息过多，那么搜索引擎蜘蛛抓取时间就会觉得该网站价格较低，从而低沉对该网站的权重，这样网站的排名就欠好了。

　　robots怎么写呢？

　　User-agent: * 这里的*代表的所有的搜索引擎种类，*是一个通配符

　　Disallow: /admin/ 这里定义是禁止爬寻admin目录下面的目录

　　Disallow: /require/ 这里定义是禁止爬寻require目录下面的目录

　　Disallow: /ABC/ 这里定义是禁止爬寻ABC目录下面的目录

　　Disallow: /cgi-bin/*.htm 禁止会见/cgi-bin/目录下的所有以”.htm”为后缀的URL(包含子目录)。

　　Disallow: /*?* 禁止会见网站中所有包含问号 (?) 的网址

　　Disallow: /.jpg$ 禁止抓取网页所有的.jpg花样的图片

　　Disallow:/ab/adc.html 禁止爬取ab文件夹下面的adc.html文件。

　　Allow: /cgi-bin/ 这里定义是承诺爬寻cgi-bin目录下面的目录

　　Allow: /tmp 这里定义是承诺爬寻tmp的整个目录

　　Allow: .htm$ 仅承诺会见以”.htm”为后缀的URL。

　　Allow: .gif$ 承诺抓取网页和gif花样图片

　　Sitemap: 网站地图 告诉爬虫这个页面是网站地图

　　下面，小编将摆列一些robots.txt的详细用法：

　　承诺所有的搜索引擎会见网站所有的部门的robot写法：

　　User-agent: *

　　Disallow:

　　或许也可以建一个空文件 robots.txt 文件，功能同上。

　　禁止所有搜索引擎会见网站的任何部门的robots写法：

　　User-agent: *

　　Disallow: /

　　禁止所有搜索引擎会见网站的某几个部门（下例中的01、02、03目录）的robots写法：

　　User-agent: *

　　Disallow: /01/

　　Disallow: /02/

　　Disallow: /03/

　　禁止某个搜索引擎的会见（如下例中禁止百度引擎抓取）的robots写法：

　　User-agent: Baiduspider

　　Disallow: /

　　寄望：以上写法只禁止了百度搜索引擎的抓取，其他搜索引擎照旧可以来抓取的。

　　只承诺某个搜索引擎的会见（如下例中只承诺谷歌搜索引擎抓取站点内容）的robots写法：

　　User-agent: Googlebot

　　Disallow:

　　User-agent: *

　　Disallow: /

　　禁止搜索引擎抓取自己网站图片（禁止图片抓取）的robots写法：

　　User-agent: *

　　Disallow: .jpg$

　　Disallow: .jpeg$

　　Disallow: .gif$

　　Disallow: .png$

　　Disallow: .bmp$

　　如果你的网站有动态和静态两种形式的网页，你只承诺抓取静态页面（禁止动态页面）的robots写法：

　　User-agent: *

　　Disallow: /*?*

　　下面顺便将各大搜索引擎的蜘蛛的名字分享一下（这里仅摆列中国海内比较常用的一些搜索引擎）：

　　google蜘蛛：Googlebot

　　百度蜘蛛：Baiduspider

　　搜狗蜘蛛：sogou spider

　　360蜘蛛：360Spider

　　yahoo蜘蛛：Yahoo!slurp

　　alexa蜘蛛：ia_archiver

　　bing蜘蛛：MSNbot

　　Soso蜘蛛：Sosospider

　　Google Adsense蜘蛛：Mediapartners-Google

　　有道蜘蛛：YoudaoBot

　　未经本人承诺，转发前请联系本人QQ：482500554

　　谢谢相助