亲爱的站长们,你们有没有遇到过这样的烦恼:明明网站内容质量上乘,还特别针对爬虫做了优化,结果百度却不收录?别急,今天就来聊聊这个让人头疼的问题。
原来,问题可能出在网站页面的长度上。有这么一个上海的网站,它的主体内容是用js生成的,还特别针对爬虫抓取做了优化,把图片的二进制内容直接放到了HTML里。结果,页面长度竟然达到了164k!虽然页面内容质量很高,但因为太长,爬虫抓取时被截断了,导致页面被认定为“空短”,最终没有被收录。
作为SEO工程师,我们有几点建议给大家:
. 不建议站点使用js生成主体内容。如果js渲染出错,页面内容读取可能会出现问题,影响爬虫抓取。
. 针对爬虫抓取做优化时,记得把主体内容放在前面,避免因为抓取截断导致内容不完整。
. 如果站点针对爬虫抓取做了SEO优化,建议页面长度控制在128k以内,不要太长。
SEO优化是一个需要持之以恒的过程,希望这篇文章能给大家带来一些启发。让我们一起努力,共同进步!