观察日志发现百度抓取url不完整的问题

3

本文作者:何敏  发布于:2010-10-9  分类:网站优化  点击:


你好,我的完整路径是下面这样::

jiaoxueziyuan/shijuan/fanwen_12.htm

而百度抓取时好多次只抓取了不完整路径显示404如下:

2010-09-05 03:13:40 W3SVC485830957 202.75.216.89 GET /jiaoxueziyuan/shijuan/fanwen_12.ht- - 80 - 220.181.7.130 Baiduspider+(+http://www.baidu.com/search/spider.htm) 404 0 64 0 228 31

这是什么原因呢?

回答:

Baiduspider是从互联网上发现链接并进行抓取的,spider自身并不会修改url,这种情况,通常是互联网上出现过这种错误的链接形式,被spider发现并进行了抓取。

错误的链接有可能来自本站,也可能是互联网上其他网站的推荐,通常前者的可能性更大,建议检查一下是否网站中哪个网页链接写错了。

3 Comments

陈进贤
你现在去查看那个文章收录了没有。
不是百度蜘蛛的问题。
我以前使用中文文件名的URL,百度就会出现抓取欠缺。后来改了页面的编码后也就可以抓取中文了。
95zhimin
哈哈,又顶博主了。
广州双乾 95epay 专门为外贸网店提供 信用卡在线支付收款通道(工具)
国际在线支付 | 外贸收款 | 信用卡在线支付收款 |
【电话支付】【快捷支付】【快速支付】【非3D铂金通道】
成功率90%以上,个人、公司均可办理。国内最受欢迎支付公司。
95epay咨询办理专员芝敏 QQ:1187928155 TEL:15920405068
信用卡收款通道
广州95epay信用卡收款通道QQ;1364900176
我们公司主要是为外贸网店提供信用卡在线收款通道的,欢迎做外贸网店的朋友来咨询!

Write a comment ?