帝国CMSrobots.txt文件设置：新手入门必看的避坑教程

为啥说帝国CMSrobots.txt文件设置是网站的迎客牌？

作为踩过N多坑的过来人，我先给你唠唠我当年的糗事：刚用帝国CMS做第一个淘客站的时候，模板改完、服务器搭完、内容更了几十篇就美滋滋上线了，结果三个月过去，搜索引擎只收录了个首页，急得我掉了大把头发，找了好几个大佬帮看，最后居然发现是帝国CMSrobots.txt文件设置错了！我把整站都给蜘蛛禁了，说出来你笑不笑？

这就好比你开了一家水果店，攒了半年钱进货装修，结果在大门上挂了个大牌子写着「所有闲人禁止入内」，搜索引擎蜘蛛就是来给你带客人的向导，人家看到牌子可不就扭头走了？你说这哪里是做站，这不是闭门造车当孤家寡人吗？

很多新手都觉得，帝国CMSrobots.txt文件设置就是个不起眼的小文本，没必要花时间研究，这话真错了，这一步错了，后面你做再多优化都是白搭，相当于盖房子打地基打歪了，楼盖得越高塌得越狠。

做对帝国CMSrobots.txt文件设置，其实就是三步的事

别听那些大佬说的玄乎，帝国CMSrobots.txt文件设置真的不难，我给你捋得明明白白，三步就能搞定，新手照着做也不会错。

第一步：先放对位置，别把迎客牌藏在收银台里

第一个坑就是放错位置，很多新手写完文件，随便找个文件夹一扔就完事了，那蜘蛛爬破头也找不到啊！robots.txt必须放在网站的根目录，啥是根目录？就是你输入域名就能直接访问到的地方，比如你的域名是xxxx.com，那robots.txt的访问地址就得是xxxx.com/robots.txt，能直接打开看到内容才对。

我之前帮一个做建材站的朋友查问题，他把robots.txt传到后台目录里了，地址是xxxx.com/e/robots.txt，我说你这是给蜘蛛看内部机密呢？蜘蛛都懵了好吗？这一步是帝国CMSrobots.txt文件设置最基础的要求，错了后面全白搭，一定要记牢。

第二步：该禁就该放，别该拦的不拦不该拦的全拦了

咱们用帝国CMS，本身目录结构就很清晰，哪些该让蜘蛛爬，哪些不该，其实都是固定的，我把用了五六年的规则直接给你，拿去改改就能用，都是我踩坑踩出来的：

``` User-agent: Disallow: /e/ Disallow: /d/ Disallow: /? Disallow: /search/ Disallow: /member/ Allow: /e/uploadfile/ Sitemap: https://你的域名/sitemap.xml ```

我给你唠唠每条规则啥意思，为啥这么写，别拿过去就用，连啥意思都不知道：首先帝国CMS的核心程序、后台默认都放在/e/目录，这个目录本来就不需要收录，所以直接禁掉，但是！/e/uploadfile/是你放上传图片、附件的地方，这个必须单独允许蜘蛛爬！我当年就是直接禁了整个/e/，忘了开这个目录，结果网站所有图片都没收录，亏了好几个月的图片搜索流量，说多了都是泪，这是帝国CMSrobots.txt文件设置最容易踩的坑，一定要记牢！

然后Disallow: /?是禁掉所有带问号的动态参数页，咱们做帝国CMS一般都会开伪静态，动态页都是重复内容，留着只会稀释权重，禁了就对了，如果你有特殊的动态页需要收录，删掉这行就行，90%的站都用得上这个规则。最后加上你的站点地图地址，方便蜘蛛爬，完美。

第三步：设置完一定要检查，别错了还蒙在鼓里当快乐傻子

我见过太多人，写完直接上传就不管了，错了大半年都不知道，等到收录不对才拍大腿，所以啊，帝国CMSrobots.txt文件设置完一定要花五分钟检查：第一步，直接打开你的域名/robots.txt，看看内容对不对，有没有乱码，有没有把Allow写成Disallow这种低级错误；第二步，去百度搜索资源平台，里面有专门的robots检测工具，输进去就能自动帮你查有没有禁错目录，分分钟就能搞定，为啥要省这五分钟呢？

我之前带的一个新手徒弟，就是把Allow写成了Disallow，上传目录全禁了，做了三个月图片没一张收录，还是我帮他查出来的，就差一个单词，亏了大几千的流量收益，说出来都让人哭笑不得。

这些帝国CMSrobots.txt文件设置的坑，我全帮你踩过了

• 坑一：直接用默认的robots，啥都不改。很多人说帝国CMS安装完自带robots，我直接用就行，不对！很多旧版本的默认robots直接禁了上传目录，你都不知道，等于是自己断了图片流量，所以不管咋样，都换成我给你的这个规则，比默认靠谱一万倍。
• 坑二：啥都不禁，让蜘蛛随便爬。有人说我光明正大，啥都不怕，就让蜘蛛随便爬，那不行啊，后台、会员中心、搜索结果页这些地方，爬了没用，还浪费搜索引擎给你的抓取配额，本来配额就不多，全浪费在没用的页面上，你正经的文章反而不爬，亏不亏？
• 坑三：Sitemap地址写错。很多人最后加站点地图，路径写错，写成域名/e/sitemap.xml，蜘蛛根本找不到，你辛辛苦苦生成的站点地图直接白做，这点检查的时候一定要一起看了。

其实做站就像搞对象，你得把大门打开，告诉对方哪里能进哪里不能进，扭扭捏捏藏着掖着，人家肯定对你没兴趣。帝国CMSrobots.txt文件设置看起来是个不起眼的小事，但是错了就能耽误你大半年的收录进度，小事做对了，后面才能顺风顺水。

说句土味的大实话，咱们普通人做站，哪有那么多天降流量啊，都是把一个个细节做好，流量才会慢慢攒起来，方向对了，努力才有用，方向错了，你一天更十篇文章也是白忙活。我这些都是踩坑踩出来的经验，你照着做就能省下大半年的摸索时间，省下的时间多更两篇优质内容，多赚点流量它不香吗？

总之啊，帝国CMSrobots.txt文件设置真的没难度，三步就能搞定，我踩过的坑都给你列明白了，你就照抄就行，要是还有不懂的，评论区留个言，我看到就给你解答，毕竟过来人踩坑，就是为了让后来人少走弯路嘛！