青岛seo优化

新站上线到底应该不应该用robots.txt?

2016-04-01 23:02:14作者: 青岛网站建设
热门推荐:黄石SEO  永安SEO  青岛网站优化  温岭SEO  襄阳SEO  儋州SEO  尉氏SEO  广元SEO  马鞍山SEO  项城SEO  慈溪SEO  睢县SEO  黑帽SEO培训  武安SEO  白银SEO  信阳SEO  塔城SEO  淮滨SEO  

robots来告诉搜索引擎,这个目录你可以进,那个目录你不可以进;这个文件你可以访问,那个文件你不能访问。但是有些时候,robots文件,青岛网站建设优化过程中还是要谨慎使用的好。

事实说明一下,年前上了新站用robots.txt文件把网站根目录屏蔽所有搜索引擎抓取,等到一个月之后,填充得已经差不多了,我就开放蜘蛛抓取。我不仅有提交首页网址给百度,提交网址诊断,而且还发了不少外链,但一天一天过去,在百度上面SITE网站就是一个收录都没有。我就纳闷了,是不是我什么地方设置错误了呢?结果在谷歌上面site了一下已经有上百个收录了,306,搜狗上面也有少则几个多则十几个收录了。于是我不得不认为是robots屏蔽,百度长时间未反应过来导致的。

前两个月,我又有一个新站重新建好开始填充内容,也是把网站屏蔽着,结果到现在都两个月过去了,可是还是不收录,首页还是提示“由于该网站的robots.txt文件存在限制指令,系统无法提供该页面的内容描述。”而谷哥收录了93条,搜狗收录了1条,360收录了45条。这次我这次彻底对度娘的robots文件反应速度是无语了。

新建的网站,千万不要先把网站文件上传到空间后加个robots.txt,然后填充信息,填充好了才开放抓取。如果可以在本地把网站建好,填充好内容再上传最好,否则上传到空间加robots禁止抓取,等开放抓取的时候,百度蜘蛛很可能又会几个月时间都反应不过来。几个月后网站才被收录,对网站优化的周期影响无疑是巨大的。


随机推荐:绥化网站优化  沈丘网站优化  福安网站优化  资兴网站优化  南平网站优化  红河网站优化  任丘网站优化  株洲网站优化  锦州网站优化  娄底网站优化  滁州网站优化  无棣网站优化  

最新发布

随机推荐