从零开始：网站收录优化与sitemap配置实操全攻略

第一步：精准配置Robots.txt抓取协议

Robots.txt是搜索引擎爬虫访问网站时第一个查看的文件，它直接决定了爬虫能抓取哪些目录。配置错误会导致全站拒抓，配置正确则能引导爬虫优先抓取核心内容。

操作位置：网站根目录下创建名为 robots.txt 的文件，确保通过 http://你的域名/robots.txt 能够直接访问。

标准配置代码：

User-agent:
Allow: /
Disallow: /admin/
Disallow: /login/
Disallow: /temp/
Disallow: /config/
Sitemap: http://你的域名/sitemap.xml

参数详解：

• User-agent: ：表示规则适用于所有搜索引擎爬虫（包括百度、Google、搜狗等）。
• Allow: /：允许抓取根目录及以下所有内容。通常建议先允许，再针对性禁止。
• Disallow:：列出禁止抓取的路径。必须屏蔽后台管理目录、登录页面、缓存目录以及包含敏感数据的API接口。
• Sitemap:：声明网站地图的绝对地址。这是告知搜索引擎站点内容入口的最直接方式。

第二步：生成并提交Sitemap站点地图

Sitemap是网站内容的导航表，通过XML格式列出所有需要收录的URL。对于百度和Google，Sitemap是提升新页面发现速度的核心工具。

2.1 Sitemap标准格式编写

你需要生成一个符合XML标准的文件。如果是动态网站，建议使用脚本自动生成。以下是一个标准的Sitemap.xml结构示例：

http://你的域名/
2023-10-25
daily
1.0


http://你的域名/article/1.html
2023-10-24
weekly
0.8

关键标签说明：

• ：页面完整的URL地址，必须包含协议头http/https。
• ：页面最后修改时间，格式为YYYY-MM-DD。这能帮助爬虫判断是否需要重新抓取。
• ：更新频率，可选值：always（始终）、hourly（每小时）、daily（每天）、weekly（每周）、monthly（每月）、yearly（每年）。对于首页建议daily，文章页建议weekly。
• ：优先级，范围0.0到1.0。首页设为1.0，栏目页0.8，内容页0.6。不要全设为1.0，否则失去权重区分意义。

2.2 百度资源提交API实操

仅仅制作Sitemap是不够的，必须主动推送给百度。百度提供了普通收录接口，支持API推送。

接口地址：http://data.zz.baidu.com/urls?site=https://你的域名&token=你的准入密钥

获取Token：登录百度搜索资源平台（https://ziyuan.baidu.com/），进入【普通收录】获取准入密钥。

Linux/Curl推送命令：

curl -H 'Content-Type:text/plain' --data-binary @urls.txt "http://data.zz.baidu.com/urls?site=https://你的域名&token=你的准入密钥"

操作细节：

在服务器上创建一个 urls.txt 文件，每行放一个待推送的URL，不要超过1000行。执行上述命令后，百度会返回JSON格式的结果，例如 {"remain":499,"success":1}，表示成功推送1条，今日剩余配额499条。

2.3 Google Search Console提交

Google的提交相对简单。登录 Google Search Console（https://search.google.com/search-console），选择你的站点资源。

路径：左侧菜单 -> 站点地图 -> 在输入框填入 sitemap.xml -> 点击提交。

Google会立即进行抓取验证，并在页面显示处理状态（成功、无法找到、有错误）。如果出现错误，通常是因为XML格式错误或包含的URL无法访问。

第三步：部署结构化数据（JSON-LD）

结构化数据是帮助搜索引擎理解页面内容的“注释”。对于文章页，部署 Article 或 NewsArticle 结构化数据能显著提升收录率和展现效果。目前推荐使用 JSON-LD 格式，因为它不干扰HTML结构，加载速度快。

部署位置：将该代码块放置在 HTML 页面的 或 标签内即可，通常建议放在 底部。

参数实操说明：

• @type：根据内容类型填写，普通文章用 "Article"，新闻资讯用 "NewsArticle"。
• headline：文章的主标题，必须与页面