资深迅睿玩家亲测：网站robots.txt规范配置避坑全方案

先搞懂robots.txt到底是干嘛的

别上来就瞎配啊，先搞明白这玩意儿的角色。说白了，它就是你网站门口挂的“访客须知”。

不过门口的保安是搜索引擎爬虫，比如百度蜘蛛、360蜘蛛这些。须知里写了哪能进哪不能进，哪是可以随便逛的主广场，哪是正在装修的后台储物间。

你要是乱写，要么把蜘蛛拦在有用的内容外面，导致收录暴跌；要么把不该放出来的私密页面、重复内容页放进去，影响网站权重。

迅睿CMS的robots.txt藏在哪

很多人刚用迅睿都找不到这个文件，急得满头汗。别慌，它不在后台的“系统设置”“内容管理”这些显眼菜单里。

直接用FTP工具或者你的服务器文件管理器，打开网站根目录就行。根目录就是放index.php、admin.php这些核心文件的地方。

如果根目录里已经有了，直接右键编辑就行；要是没有，自己新建一个txt文件，重命名成robots.txt就行，注意别写错字母，大小写没关系，但别加其他后缀。

别拿通用模板直接套迅睿

这是新手最容易踩的坑！网上随便搜个“通用robots.txt模板”就复制粘贴，结果把迅睿的后台、静态缓存、附件上传临时目录全漏了。

举个例子，通用模板可能没屏蔽admin.php路径？那万一后台入口没改，随便哪个懂点爬虫的人都能顺着爬后台地址，然后暴力破解试试？虽然概率不高，但能防还是防。

适合大部分迅睿CMS网站的配置代码

直接给你们一份亲测过的、适配90%以上个人博客、企业站的代码，直接复制粘贴后改改你的域名就行。

``` User-agent: Disallow: /admin.php Disallow: /index.php?s= Disallow: /cache/ Disallow: /uploadfile/temp/ Disallow: /member/ Disallow: /api/ Allow: / Sitemap: https://你的域名/sitemap.xml ```

给你们逐行唠唠啥意思，放心不用记太多专业术语。

• 第一行User-agent: ，意思是所有搜索引擎爬虫都适用这份须知，没给百度开小灶也没给谷歌穿小鞋。
• Disallow: /admin.php，这个是必须加的重点项！除非你后台入口改成了别的名字，改成啥就把admin.php换成啥。
• Disallow: /index.php?s=，这个路径是迅睿的动态伪静态前的地址，加了可以避免重复收录，比如动态页和伪静态页内容一模一样，收录两个反而拉低权重。
• Disallow: /cache/，缓存文件里都是乱七八糟的临时数据，放给蜘蛛看没用。
• Disallow: /uploadfile/temp/，临时上传的图片、文件，一般过段时间会被系统清理，别让蜘蛛白跑一趟。
• Disallow: /member/，如果你的网站没开会员功能，必须加；开了的话，会员中心的登录注册、个人资料这些页面也没必要收录，也可以留着但建议加。
• Disallow: /api/，接口文件，给程序对接用的，不是给用户看的，蜘蛛爬了也白搭。
• Allow: /，意思是除了上面禁止的，其他地方都能进，这行要不要都行，但加上显得更规范。
• 最后一行Sitemap，把你的域名换成实际的，告诉蜘蛛你的网站地图在哪，方便它快速抓取全站内容。

配完记得做两件事

别配完就不管了，相当于须知挂了但没通知保安。

第一件事，打开百度搜索资源平台，找到“robots工具”，提交你的robots.txt文件，或者刷新一下状态。

第二件事，自己测试一下，在浏览器地址栏输入“你的域名/robots.txt”，看看能不能正常打开，有没有错别字、语法错误。语法错误的话，整个须知就失效了，保安直接当成废纸扔了。

语法错误怎么自查？

不用找复杂的工具，百度资源平台的robots工具里就有检测功能，上传或者输入你的文件地址，一键就能查出来。

常见的语法错误就是Disallow后面忘加冒号，或者冒号是中文的，换成英文冒号就行；还有路径前面多了个空格，删掉就行。