📍 WDQWDWQD987AAAAA:216.73.216.238
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /9d27c5ba1b09.html
📄

建站教程：上线前怎样核对抓取与索引配置

上线前核对抓取与索引配置，核心是回答两个问题：搜索引擎能不能抓到页面，抓到后愿不愿意收录。最直接的做法是先用抓取工具模拟访问，再检查 robots 规则、canonical、站点地图和状态码是否互相矛盾。下面从一个假设例子展开，说明具体步骤和常见错误。

从一个假设例子看核对顺序

假设你刚用常见 CMS 搭好一个企业站，首页、栏目页、文章页都已发布，域名从测试环境切到正式域名。上线前不要先提交站点地图，而应按以下顺序核对。

1. 先确认正式域名下所有目标页面返回 200 状态码，测试域名不要暴露可抓取内容。
2. 检查 robots.txt 是否误屏蔽整站或关键目录，尤其是测试阶段留下的 Disallow: /。
3. 查看每个页面源码中的 canonical 是否指向自身正式地址，避免仍指向测试域名。
4. 确认站点地图只包含正式域名下的可索引页面，且返回 200。
5. 最后用抓取模拟工具访问几个代表页面，观察是否被 robots 拦截、是否跳转异常。

这个顺序的意义在于：如果 robots 已屏蔽整站，提交站点地图也不会带来有效抓取；如果 canonical 指向测试域名，即使页面被抓取，索引也可能落到错误地址。

robots.txt 要检查什么

robots.txt 是抓取层面的第一道门。它不控制索引，但会直接影响搜索引擎能否访问页面。核对时重点看三处：

• 是否出现 Disallow: /，这会阻止整站抓取。
• 是否误屏蔽 CSS、JS 或图片目录，导致页面渲染不完整。
• 是否屏蔽了需要收录的栏目路径，例如 /product/ 或 /news/。

检查方法很简单：在浏览器访问正式域名下的 /robots.txt，逐行阅读规则。如果使用了 CMS 插件生成 robots，要确认插件没有覆盖你手写的规则。判断结果是：只要目标页面被任何一条 Disallow 规则匹配，抓取就会被阻止；此时应先修正规则，再谈索引。

canonical 与站点地图是否一致

canonical 用来告诉搜索引擎哪个地址是页面的首选版本。上线前常见错误是：页面能从正式域名访问，但 canonical 仍写着测试域名或带参数的地址。核对时打开几个代表页面，查看 <link rel="canonical"> 的 href 值。

判断标准是：canonical 应指向该页面自身的正式绝对地址，且与站点地图中列出的地址一致。如果 canonical 指向另一个页面，等于主动放弃当前页面的索引；如果指向测试域名，正式页面可能长期不被收录。站点地图则负责列出希望被抓取的地址，它不能替代 canonical，两者矛盾时优先修正 canonical。

用抓取模拟做最后验证

配置检查完后，用搜索引擎提供的抓取模拟或 URL 检查类工具，输入几个代表页面地址，观察返回结果。重点看四项：

• 抓取状态：是否成功返回 200，还是被 robots 阻止或出现 404、301 链。
• robots 状态：工具是否提示被屏蔽。
• canonical 状态：工具识别到的首选地址是否与预期一致。
• 索引状态：页面是否允许索引，是否存在 noindex 标签。

如果抓取成功但提示 noindex，说明页面能被抓取但不会进入索引，需要检查模板或插件是否给整站加了 noindex。如果抓取被阻止，先回到 robots.txt 修正，而不是反复提交站点地图。假设例子中，若文章页 canonical 指向测试域名，工具会显示首选地址异常，此时应批量替换模板中的域名变量后重新验证。

上线后的下一步

完成上述核对后，先提交站点地图，再观察抓取统计中目标页面的响应情况。若发现大量页面仍未被抓取，优先检查内链是否可达、服务器是否稳定返回 200，而不是急于调整内容。把这次核对的项目整理成一份上线检查清单，下次建站时按同样顺序执行即可。