前置准备
操作前请提前准备2项权限，避免中途卡壳：
1. EyouCMS后台超级管理员账号
2. 站点根目录FTP/宝塔等面板的文件管理权限，robots.txt必须放在站点根目录才能生效
第一步：编写EyouCMS专属robots规则
EyouCMS有默认的敏感目录、动态重复内容，不要直接用通用版规则，下面提供2套可直接复制的规则，根据自身站点情况选择即可。
通用版规则（适合90%普通企业站）
```
User-agent:
Disallow: /admin/
Disallow: /install/
Disallow: /template/
Disallow: /member/
Disallow: /include/
Disallow: /plugins/
Disallow: /search.php
Disallow: /?
Allow: /upload/
Allow: /static/
Sitemap: https://你的域名.com/sitemap.xml
```
规则说明
- User-agent: ：规则对所有搜索引擎蜘蛛生效，无需单独针对百度、谷歌等设置
- Disallow: /admin/：禁止抓取后台目录，避免后台路径泄露引发安全风险
- Disallow: /install/：禁止抓取安装目录，防止恶意人员利用安装文件重装站点
- Disallow: /search.php：禁止抓取搜索结果页，避免重复内容被收录导致站点降权
- Disallow: /?：禁止抓取带动态参数的链接，EyouCMS开启伪静态后动态链接属于重复内容，无需收录
- Allow: /upload/：允许抓取上传的图片、附件，保障文章配图、产品图正常被搜索引擎收录
- Sitemap：请将地址替换为你自己站点的sitemap地图地址，帮助蜘蛛快速爬取全站内容
重要提醒：如果你修改过EyouCMS默认后台路径，必须将规则里的`/admin/`替换为你实际的后台路径，否则禁止规则无效。如果你的站点没有开启会员功能，可删除`Disallow: /member/`这一行。
进阶版规则（适合有二次开发的站点）
如果你的站点有自定义的无需收录的板块，比如下载中心、付费内容专区，可以在通用版规则基础上新增对应的Disallow规则，例如：
```
新增禁止抓取下载中心
Disallow: /download/
新增禁止抓取付费内容页
Disallow: /pay/
```
第二步：部署robots.txt到站点
提供2种部署方法，优先选择第一种后台直接编辑的方式，无需操作文件更简单。
方法1：EyouCMS后台直接编辑（推荐）
- 登录EyouCMS后台，点击左侧菜单栏「系统」-「基本参数设置」
- 切换到顶部「SEO设置」标签，找到「robots.txt内容」输入框
- 把上面修改好Sitemap地址、后台路径的完整规则，复制粘贴到输入框中
- 点击底部「保存」按钮，系统会自动生成robots.txt文件并同步到站点根目录
方法2：手动上传到站点根目录
- 在本地新建txt文档，命名为
robots.txt（注意文件名必须全小写，不要加其他后缀，否则无法生效）
- 把修改好的完整规则粘贴到文档中，保存并关闭文件
- 通过FTP工具或者宝塔等面板的文件管理功能，进入站点根目录（一般是wwwroot、public_html目录，和index.php文件同级）
- 把本地的robots.txt上传到该目录，如果有同名旧文件选择覆盖即可
部署验证：上传完成后，在浏览器输入`https://你的域名.com/robots.txt`，如果能正常显示你编写的规则内容，说明路径正确，否则检查是否放在根目录、文件名是否拼写错误。
第三步：规则有效性验证
部署完成后必须做验证，避免出现误封正常收录页面、规则不生效的问题，推荐用百度搜索资源平台的官方检测工具，步骤如下：
- 打开百度搜索资源平台（https://ziyuan.baidu.com/），登录已经绑定你站点的账号
- 进入左侧菜单栏「搜索服务」-「抓取诊断」-「robots检测」
- 分别输入你要检测的链接：比如首页地址、文章详情页地址、后台地址、安装目录地址，点击检测按钮
- 如果正常可收录的页面显示「允许抓取」，后台、安装目录等敏感页面显示「禁止抓取」，说明规则配置正确
- 如果出现误封的情况，回到规则里调整Disallow/Allow规则，重新保存后再次检测即可
常见问题排查
- 问题1：修改robots.txt后不生效：首先清除浏览器缓存后再访问robots.txt地址看是否更新，搜索引擎蜘蛛默认1-7天更新规则缓存，可在百度资源平台robots检测页点击「更新robots」按钮，申请同步加快生效速度。
- 问题2：站点图片不被收录：检查规则里是否添加了`Allow: /upload/`，如果你的附件存放到了其他自定义目录，要对应新增该目录的Allow规则。
- 问题3：动态链接还是被收录：检查`Disallow: /?`是否正确添加，同时在EyouCMS后台开启伪静态，确保所有内容都只有静态链接一个入口。
- 问题4：后台路径被蜘蛛抓取：确认robots.txt里的禁止路径和你实际的后台路径完全一致，包括末尾的斜杠，比如后台是`/eyouadmin/`，规则要写`Disallow: /eyouadmin/`，不要漏写末尾的斜杠。
注意事项
1. 绝对不要添加`Disallow: /`规则，否则会导致全站都不被搜索引擎收录
2. 每次修改robots.txt后都要做一次全链路检测，避免出现误封重要收录页面的情况
3. 如果你的站点刚上线还没完成内容填充，可以临时添加`Disallow: /`规则，内容填充完成后务必删除该规则再提交收录。
