应。您还应该查找具有指向另一个 URL 的规范标记并结合了 noindex 指令的页面，因为这两个是相互冲突的信号，您需要消除其中一个。 元机器人评论 爬取暂存站点后，查找元机器人属性设置为“noindex”或“nofollow”的页面。如果是这种情况，请检查每一个以确保这是故意的，如果不是，请删除“noindex”或“nofollow”指令。 XML 站点地图审查 准备两种不同类型的站点地图：一种包含所有新站点的可索引页面，另一种包含所有旧站点的可索引页面。前者将有助于让 Google 了解新网站的可索引 URL。后者将帮助
Google 了解现有的重定向以及一些已编入索引的 URL 已移动到新位置的事实，以便它可以更快地发现它们并更新搜索结果。 您应该检查每个 XML 站点地图以确保： 它验证没有问题 它被编码为 UTF-8 它不包含超过 50,000 行 未压缩时其大小不超 客户名单 过 50MB 如果行数超过 50K 或文件大小超过 50MB，则必须将站点地图分解成更小的部分。如果 Google 过于频繁地请求站点地图，这可以防止服务器过载。 此外，您必须抓取每个 XML 站点地图以确保它仅包含可索引的 URL。任何不可索引的 URL 都应从 XML 站点地图中
排除，例如： 3xx、4xx 和 5xx 页面（例如重定向、未找到页面、错误请求等） 软 404。这些页面没有返回 200 服务器响应而不是 404 的内容。 规范化页面（自引用规范 URL 除外） 带有 meta robots noindex 指令的页面 <!DOCTYPE html> <html><head> <meta name="robots" content="noindex" /> (...) </head> <body>(...)</body> </html> HTTP 标头中带有 noindex X-Robots-Tag 的页面 HTTP/1.1 200 OK 日期：2017 年 11 月 10 日星期二 17:12:43 GMT (...) X-Robots-Tag: noindex (...) 被 robots.txt 文件阻止的