meta robots标签针对具体一个网页，设置比robots.txt文件更灵活，除了是否收录本页面外，还能控制搜索引擎蜘蛛是否跟踪本页面内的链接等。 关于meta robots标签的写法，权威的解释是About the Robots <META> tag。content可以有四个值：”INDEX”, “NOINDEX”, “FOLLOW”, “NOFOLLOW”，可以单独，也可以组合，主要有四种组合：<meta name=”robots” content=”index,follow”><meta name=”robots” content=”noindex,follow”><meta name=”robots” content=”index,nofollow”><meta name=”robots” content=”noindex,nofollow”>index,follow：允许收录本页，允许跟踪链接。index,nofollow：允许收录本页，但禁止跟踪链接。noindex,follow：禁止收录本页，但允许跟踪链接。noindex,nofllow：禁止收录本页，同时禁止跟踪本页中的链接。如果网页没有robots元标签，默认等同于第一种。上述写法不区分大小写，建议一律小写。Ethan感到各大搜索引擎在使用meta robots上是有些差异的。百度在禁止搜索引擎收录的方法提及meta robots标签的写法，有以下的例子：如果您不想搜索引擎追踪此网页上的链接，且不传递链接的权重，请将此元标记置入网页的 <HEAD> 部分：<meta name=”robots” content=”nofollow”>要允许其他搜索引擎跟踪，但仅防止百度跟踪您网页的链接，请将此元标记置入网页的 <HEAD> 部分：<meta name=”Baiduspider” content=”nofollow”>要防止所有搜索引擎显示您网站的快照，请将此元标记置入网页的 <HEAD> 部分：<meta name=”robots” content=”noarchive”>要允许其他搜索引擎显示快照，但仅防止百度显示，请使用以下标记：<meta name=”Baiduspider” content=”noarchive”>注：此标记只是禁止百度显示该网页的快照，百度会继续为网页建索引，并在搜索结果中显示网页摘要。百度支持哪些Robots Meta标签？百度支持nofollow、noarchive两种种meta标签。可见百度支持noarchive，并且可以用Baiduspider代替robots仅针对百度。至于百度知否支持noindex，要打个问号，有人反映说百度会收录部分noindex的页面。区分一下noarchive和noindex，noindex是不收录，noarchive是正常收录，正常显示搜索结果（包括摘要），但如果点击快照，看不到网页缓存。有人故意为网页设置noarchive，目的是增加点击率，搜索引擎会记录这种点击率，点击率提高有利于该网页排名。google支持NOARCHIVE、NOSNIPPET、NOODP等，具体英文参见Using the robots meta tag（可能需要翻墙才能打开），中文参见元标记和使用元标记拦截对您网站的访问。可以用googlebot代替robots仅针对google。注意google在使用元标记拦截对您网站的访问中明确了noindex对于google的效果非常彻底，百度没有类似的表述：如果Google看到某一页上有noindex元标记，就会将此页从我们的搜索结果中完全丢弃，而不管是否还有其他页链接到此页。但是，其他搜索引擎可能会以不同的方式解译此指令。因此，指向相关网页的链接可能仍会显示在搜索结果中。最后Ethan要提醒大家，robots.txt文件的优先级比robots元标签要高，因为搜索引擎蜘蛛在抓取任何网页前，首先抓取robots.txt文件，如果一个网页被robots.txt屏蔽了，搜索引擎蜘蛛不会访问这个网页，robots元标签里放什么都没用。