SEO的世界里,robots.txt文件是个小管家,告诉搜索引擎哪些内容能抓,哪些不能。但新站上线时,这个小管家可能让你头疼。年初,我负责的网站刚建好,内容还没全,就用了robots.txt把根目录全屏蔽了。一个月后,内容差不多了,我开放了抓取,结果百度就是不收录,谷歌和搜狗却收录了一堆。看来百度的小管家反应有点慢。
两个月前,我又建了个新站,也是先屏蔽后开放,结果百度到现在还没收录,谷歌却收录了93条,搜狗和360也收录了一些。这让我对百度的小管家彻底无语了。
前两天,群里的乌鸦大神也分享了类似经历。叠玉科技SEO提醒大家,新站最好在本地建好、内容填好再上传,别急着上传后加robots.txt。否则,百度的小管家可能几个月都不给你收录,影响网站优化周期。
由上海SEO上海叠玉科技原创,转载请保留。叠玉科技期待与大家探讨SEO技术,共话职业发展和人生梦想。