💡 核心摘要：robots meta 和
X-Robots-Tag都能控制 Google 如何索引和展示内容。HTML 页面常用 robots meta，PDF、图片、视频等非 HTML 资源更适合用响应头X-Robots-Tag。注意：如果 URL 被 robots.txt 阻止抓取，Google 可能看不到noindex；多个规则冲突时，更严格的规则会生效。
一、先区分三种控制工具
robots.txt、robots meta 和 X-Robots-Tag 经常被混用，但它们控制的是不同层面。robots.txt 控制抓取访问，robots meta 控制 HTML 页面级索引和展示，X-Robots-Tag 通过 HTTP 响应头控制页面或非 HTML 资源。
如果你想阻止抓取某个路径，用 robots.txt。如果你想让 Google 抓取页面但不要索引，用 noindex。如果你要控制 PDF、图片、视频或其他文件是否索引，优先考虑 X-Robots-Tag。
💡 “不抓取”和“不索引”不是同一件事。SEO 排错时先明确目标，再选择控制方式。
二、robots meta 的基本写法
robots meta 写在 HTML 的 <head> 中。name="robots" 面向所有支持该指令的爬虫，name="googlebot" 专门面向 Googlebot，name="googlebot-news" 则面向 Google 新闻相关抓取。
指令写在 content 中，可以组合多个规则。常见组合包括允许索引跟随、禁止索引、禁止跟随链接、禁止摘要或限制摘要长度。
HTML 示例
<meta name="robots" content="noindex,nofollow">
<meta name="googlebot" content="max-snippet:160">⚠️ robots meta 必须位于有效
<head>中。如果 head 结构被无效元素截断，后续规则可能不被读取。
三、X-Robots-Tag 适合响应头控制
X-Robots-Tag 是 HTTP 响应头，可以用于 HTML，也可以用于 PDF、图片、视频、文档等非 HTML 资源。它尤其适合无法写入 <head> 的文件。
服务器可以按路径、文件类型或业务规则添加响应头。比如让某个 PDF 不进入索引，或让图片资源不出现在搜索结果中。
响应头示例
X-Robots-Tag: noindex
X-Robots-Tag: googlebot: nofollow💡 对非 HTML 文件，
X-Robots-Tag通常比页面内 meta 更可靠，因为文件本身没有<head>。
四、掌握常用规则
Google 支持多种 robots 规则。noindex 阻止页面进入索引，nofollow 阻止 Google 跟踪页面上的链接，none 等同于 noindex,nofollow，nosnippet 阻止显示文字摘要和视频预览。
还有一些更精细的展示控制：max-snippet 限制文字摘要长度，max-image-preview 控制图片预览大小，max-video-preview 控制视频预览秒数，notranslate 阻止翻译链接，noimageindex 阻止页面图片被编入索引。
常见规则速查
noindex：不索引页面或资源
nofollow：不跟踪页面链接
nosnippet：不显示文字摘要或视频预览
max-snippet:160：摘要最多 160 个字符
max-image-preview:large：允许大图预览
max-video-preview:30：视频预览最多 30 秒
noarchive：不显示缓存链接
unavailable_after：指定时间后不再展示⚠️
nosnippet会同时阻止某些预览能力。不要在只想限制局部文本时误用整页nosnippet。
五、使用 data-nosnippet 控制局部内容
如果只是不希望页面中的某一段文字出现在搜索摘要中，可以使用 HTML 属性 data-nosnippet。它适合隐藏价格、优惠码、隐私信息、动态库存或测试文案。
data-nosnippet 不会阻止整个页面索引，也不会阻止 Google 理解页面。它只是告诉 Google 不要把该元素内容作为摘要片段使用。
局部片段示例
<p data-nosnippet>会员专属价格：¥99</p>💡 控制局部摘要用
data-nosnippet；控制整个页面摘要才用nosnippet。
六、结构化数据可能仍生成富媒体结果
即使你使用 nosnippet 阻止普通摘要，Google 仍可能根据结构化数据生成富媒体搜索结果，前提是页面符合对应富媒体结果政策和结构化数据要求。
这意味着摘要控制和结构化数据展示不是完全同一层规则。上线前应同时用网址检查工具和富媒体结果测试检查最终呈现，避免以为 nosnippet 会关闭所有增强展示。
⚠️ 如果你不希望某些内容出现在富媒体结果里，也要检查结构化数据本身，而不是只依赖 robots 摘要规则。
七、多个规则冲突时更严格者生效
同一页面可能同时存在 robots meta、googlebot meta 和 X-Robots-Tag。当规则冲突时，Google 会采用更严格的规则。例如一个规则允许索引，另一个规则 noindex，最终会按 noindex 处理。
这对模板化站点尤其重要。你可能在页面里写了 index,follow，但服务器响应头又统一加了 X-Robots-Tag: noindex，最终页面仍不会被索引。
冲突排查
curl -I https://example.com/page查看响应头中是否存在 X-Robots-Tag，再对照页面源码里的 robots meta。
💡 robots 排错不能只看页面源码，必须同时看 HTTP 响应头。
八、不要用 robots.txt 阻止 noindex 页面
如果页面被 robots.txt 阻止抓取，Google 可能无法看到页面中的 robots meta 或响应头里的 noindex。这会导致你以为页面已 noindex，但 Google 仍可能根据外部链接知道 URL 并保留它。
正确流程通常是：让 Google 能抓取页面并看到 noindex，等待它从索引中移除；之后如果仍有抓取控制需求，再考虑 robots.txt。对已经阻止抓取的 URL，应先解除阻止，再让 noindex 生效。
⚠️ robots.txt 不是移除索引工具。要移除索引，用
noindex或 Search Console 移除工具。
九、配置服务器级 X-Robots-Tag
对大规模资源，手动逐页设置不现实。可以在服务器层按目录、扩展名或文件类型配置 X-Robots-Tag。例如对内部 PDF、临时文档或特定媒体目录统一添加 noindex。
配置后一定要抽查响应头，确认线上 CDN、反向代理和缓存层没有覆盖或删除该 header。很多索引控制失败并不是规则写错，而是中间层没有把响应头传出去。
发布检查
curl -I https://example.com/private/report.pdf💡 对非 HTML 资源，服务器、CDN 和缓存层都可能影响
X-Robots-Tag是否真正送达 Googlebot。
📌 核心收获
- ✓ robots.txt 控制抓取，noindex 控制索引：二者不能互相替代。
- ✓ HTML 页面用 robots meta：规则必须位于有效
<head>中。 - ✓ 非 HTML 资源用 X-Robots-Tag：PDF、图片、视频适合响应头控制。
- ✓ 展示规则可以很细：摘要、图片预览、视频预览和缓存都能单独控制。
- ✓ 局部摘要用 data-nosnippet：不要为了隐藏一段文字误用整页
nosnippet。 - ✓ 冲突时更严格规则生效：源码和响应头都要检查。
- ✓ 被 robots.txt 阻止的 noindex 可能不可见：移除索引前要让 Google 能看到指令。
🚀 立刻行动
- 抽查一个 HTML 页面，同时查看源码 robots meta 和
curl -I响应头。 - 检查是否存在服务器统一添加的
X-Robots-Tag: noindex。 - 对需要移除索引的页面，确认没有被 robots.txt 阻止抓取。
- 对 PDF、图片或视频资源，使用
X-Robots-Tag控制索引，而不是寻找页面内 meta。 - 如果只想隐藏局部摘要，给对应元素加
data-nosnippet，不要使用整页nosnippet。 - 用网址检查工具验证 Google 是否看到最终 robots 指令。
- 在 CDN、反向代理或服务器规则变更后，重新抽查关键 URL 的响应头。
来源：使用 robots meta 标记和 X-Robots-Tag HTTP 标头规范 | 本文为知识提炼与重新表达
RELATED / 相关推荐
接着读这些
按同一分类、系列与标签为你挑选。
控制内容是否进入 Google
控制内容进入 Google 要先区分目标：删除内容、限制访问、阻止索引、屏蔽媒体资源、退出特定 Google 产品，或临时移除已展示结果。
不改网址的网站托管迁移指南
更换托管商或接入 CDN 时，即使 URL 不变，也要提前测试新环境、确认 Googlebot 可访问、降低 DNS TTL，并监控新旧服务器流量。
JavaScript SEO 基础排查指南
JavaScript 网站要被 Google 正确理解，必须让关键内容、链接、标题、canonical、状态码和结构化数据在抓取、渲染、索引链路中稳定可见。