SEO工作人员怎能不懂robots.txt

今天检查公司的网站的时候,发现有个友链首页没有了,而且收录降了不少,从几万降到了800个收录。我联系对方网站的SEO工作人员,对方说已经好久了,还不知道什么原因。

结果我看了下对方网站的robots.txt,发现了这样一句话:

User-agent: baiduspider
Disallow: /
Disallow: /*


看到这个,我问对方的SEO工作人员,你们不做百度搜索了吗?回答说不会啊?那你们为什么屏蔽百度蜘蛛的抓取,结果说是技术人员修改的,他并不知情……

说实话我严重怀疑是被黑,或者是离职员工报复。作为SEO怎么能不懂robots呢?有一周多百度不收录,而且收录狂减,应该去看看robots.txt文件是否被修改……也许原因就这么简单!

“SEO工作人员怎能不懂robots.txt”的6个回复

    1. @web前端寒风: 我感觉也可能是恶意的,不过也不排除技术人员恢复数据的时候,把原始的robots.txt文件传上去了。因为网站建设初期也许会屏蔽百度蜘蛛,等网站测试完成之后再对蜘蛛开放。

评论已关闭。