为什么网站链接可以访问并被蜘蛛判定为死链接?

  网站链接可以点击打开页面,但网站日志中的爬虫显示为死链接(如何找到网站死链,请查看下载死链检测工具:死链检测工具Xenu)。

  详细信息:死链的原因是:因为当友链页面上线时,程序员没有添加内容,自动返回404,并且会出现在网站的每个页面下面,所以会有这么多死链接。但在及时处理后,会有爬虫爬行的结果是死链,我正常点击没有问题,我不知道为什么?最重要的是,我现在能做些什么来拯救它吗?

  网站死链

  【解决方案】:根据我的经验,这个时间仅供参考,毕竟无法验证。(这个时候在日志里看不到蜘蛛抓死链URL。)我猜中间流程是这样的:(如何处理死链,seo神分享死链解决方案,教你如何处理和防止网站死链)

  (1)蜘蛛抓取死链前链URL,缓存到百度页面库;

  (2)蜘蛛发现死链URL返回404并连续访问一段时间,仍返回404(用于判断页面是否为临时404,当404次连续返回到一定阈值时,不再访问,确定URL为死链),将URL纳入死链库;

  (3)抓取导出死链的页面,判断这些页面是否仍然导出死链。如果仍然导出,记录抓取时间;

  (4)注意,第三步可能只会抓取死链前链的页面,不会再抓取死链URL(即使死链URL现在已经好了,也不会在短时间内正常返回状态码/页面信息,所以不会再被抓取);

  【死链对网站的影响】尽量严格设计程序。死链问题虽小,但由于时间长、范围广,可能会影响整个网站的性能:

  (1)导出死链的页面,评分会受到影响(如果大部分页面因为导出死链而从高质量>一般>低质量转变,也是整个网站的损失);

  (2)如果死链经常导出,网站的内容质量可能会受到怀疑(尤其是使用页面提交时,搜索引擎分配给网站的资源配额可能会降低。

  综上所述,死链的问题要严格控制。试想一下,页面导出黑链、垃圾页面、低质量页面就足够页面了。搜索引擎会喜欢导出搜索引擎根本无法识别的页面吗?

上一篇:网站的灵魂是SEO优化的合理规划

下一篇 : 有哪些实用的网站优化技巧?让网站排名长期稳定在百度首页?