DedeCMS站点robots.txt标准设置实操指南 可直接复制适配搜索引擎抓取规则

一、前置准备

操作前请确保你拥有以下权限/资源，避免操作卡壳：

• 站点FTP/服务器文件管理权限，可编辑站点根目录文件
• 已知自己的DedeCMS后台自定义路径（若修改过默认后台目录）
• 已生成站点地图sitemap.xml（未生成可参考后续步骤操作）

二、DedeCMS专属robots.txt完整可复制配置

以下配置适配90%以上使用DedeCMS搭建的内容站点，可直接复制后修改少量参数即可使用：

``` User-agent: Disallow: /dede/ Disallow: /include/ Disallow: /member/ Disallow: /plus/feedback.php Disallow: /plus/search.php Disallow: /plus/download.php Disallow: /plus/digg_ajax.php Disallow: /plus/carbuyaction.php Disallow: /templets/ Disallow: /special/ Disallow: /tags.php Allow: /uploads/ Allow: /images/ Allow: /css/ Allow: /js/ Sitemap: https://你的域名.com/sitemap.xml ```

2.1 配置项逐行说明

• User-agent: ：表示规则对所有搜索引擎爬虫生效
• Disallow: /dede/：禁止抓取默认后台目录，若您修改过后台目录名，必须替换为实际后台路径，避免泄露后台地址
• Disallow: /include/：禁止抓取系统核心程序目录，无收录价值且避免泄露程序结构
• Disallow: /member/：禁止抓取会员中心动态页面，无公开收录价值且易产生重复内容
• Disallow: /plus/下的多个PHP文件：禁止抓取评论、搜索、下载、点赞等交互类动态页面，避免大量重复冗余内容被收录，影响站点权重
• Disallow: /templets/：禁止抓取模板文件目录，避免泄露模板结构
• Disallow: /special/：禁止抓取动态专题路径，若您的专题已生成静态页面可删除该行
• Disallow: /tags.php：禁止抓取默认动态标签页，若您已做标签伪静态且需要收录标签页可删除该行
• Allow开头的规则：允许抓取图片、样式、脚本、附件等静态资源，保障搜索引擎正常识别页面完整结构，提升收录评分
• Sitemap：填写您的站点地图地址，引导搜索引擎更高效抓取全站内容

三、站点地图sitemap生成方法

若您还未生成站点地图，可按以下步骤操作：

1. 登录DedeCMS后台，进入【模块】-【模块管理】，找到官方自带的sitemap生成插件，点击安装
2. 安装完成后进入【生成】-【更新站点地图】，选择生成XML格式，更新频率按站点内容更新频率选择（日更站选daily，周更站选weekly）
3. 点击生成后，系统会自动在根目录生成sitemap.xml文件，直接复制该文件的完整地址填入robots.txt对应位置即可

四、实操部署步骤

1. 本地新建文本文档，文件名必须设置为全小写的robots.txt，禁止使用Robots.txt、ROBOTS.TXT等大小写混合的名称，Linux服务器会因大小写敏感无法识别
2. 将上面的配置复制到文件中，修改对应参数：替换后台路径、替换域名为自己的实际域名、删除不需要的禁止规则
3. 将修改后的robots.txt文件上传到站点根目录，即与网站首页index.php、index.html文件同目录的文件夹
4. 设置文件权限：若使用Linux服务器，将robots.txt的权限设置为644，所属用户设置为站点运行的web用户（一般为www），避免出现403禁止访问的问题
5. 验证部署结果：直接在浏览器地址栏输入https://你的域名/robots.txt，若能正常显示你编辑的配置内容，即为部署成功；若返回404请检查上传路径是否正确，返回403请检查文件权限

五、常见踩坑规避与自定义调整

5.1 必须规避的错误操作

• 禁止路径末尾必须加斜杠：比如Disallow: /dede 会禁止所有以dede开头的路径，包括/dedecms文章页等正常内容，加斜杠/dede/才只会禁止后台目录
• 不要整站禁止抓取：禁止手滑写Disallow: /，会导致所有搜索引擎都无法抓取你的站点
• 不要禁止静态资源：uploads、images、css、js等目录必须设置为允许抓取，否则搜索引擎无法识别页面样式，会降低收录评分
• 修改配置后主动提交：若修改了robots.txt，可直接到百度搜索资源平台、谷歌搜索控制台的robots检测工具提交新配置，可将生效时间从7天缩短到24小时内

5.2 不同场景的自定义调整方案

• 站点未上线场景：若站点还在调试阶段，不想被搜索引擎收录，可直接使用以下配置： ``` User-agent: Disallow: / ``` 站点正式上线后替换为正常配置即可
• 栏目禁止收录场景：若某类栏目不需要被收录，比如内部资料栏目，可添加Disallow: /a/neibu/（替换为对应栏目路径）
• 伪静态标签页场景：若你已将标签页设置为伪静态，路径为/tags/开头，可将默认的Disallow: /tags.php替换为Disallow: /tags/
• 多站点场景：若有独立PC、移动端站点，移动端robots.txt可添加Disallow: /pc/等规则，禁止抓取PC端内容，避免重复收录