您当前的位置:首页 > faq问答 > 百度搜索标准死链官方文档-协议死链、内容死链和跳转死链
百度搜索标准死链官方文档-协议死链、内容死链和跳转死链
几乎所有网站都会出现不再需要展现的网页,如何处理这样的网页也成为站长经常谈论的话题。为此,百度站长学院专访了负责死链识别处理的工程师,了解到百度眼中的死链其实包括三种:协议死链、内容死链、跳转死链,每种都有门道哦,同时了解到目前比较流行的“个性化死链”对百度并不友好(后面会有详细介绍)。在此我们向各位站长呼吁,尽可能全面地通过百度站长平台死链提交工具提交协议死链、内容死链和跳转死链,网站在百度搜索引擎的可访性和价值得到提升,以获得更高的用户评价。
第一,协议死链:
协议死链是指通过HTTP协议状态码明确表示网页已无阅读价值。HTTP协议状态码很多,但百度协议死链首推404,即未找到文件。请尽量不要用其它状态码来代表死链。
第二,内容死链:
内容死链主要是由网站自身变化引起的,网页可以正常打开未发生跳转,但页面内容对爬虫来说没有收录价值,对用户来说也没有参考价值,如帖子被删除、内容已转移、空间被关闭、信息已过期、交易已关闭等。在这样无有价值信息的网页上,网站应该在明显位置直接给予提示文字,如:
·页面不存在(网页不存在)
·内容已转移
·帖子已删除
·域名过期或出售
·空间被关闭
·网站要备案
·信息已过期
·交易已关闭
在给各位站长看标准内容死链的典型范例之前,先说一个对百度不友好的做法:现在很多网站追求个性化和用户体验,在页面内容失效后并未做协议死链处理,也就是说返回状态码依然是200,仅仅是在页面上做了一个有趣的个性化图片,通过图片告诉用户这个页面没有有价值内容——百度不会认为这是一个内容死链,不提倡大家这样做。
典型范例1:
seozixuewang.com/zb_users/upload/2015/6/2015060450766761.jpg" title="clip_image002.jpg" style="border: 0px;" alt="" />
以下便是内容死链的典型范例,大家感受一下,需要着重强调的是:站长在申请取消闭站保护的时候,百度除了检测站内协议死链外,还会同时检查内容死链的比例和数量。即使您不使用闭站保护功能,百度也提倡大家踊跃提交内容死链,以保证站点评级的稳定。
典型范例2:
典型范例3:
典型范例4:
典型范例5:
典型范例6:
典型范例7:
典型范例:8:
第三,跳转死链
跳转死链是指网站将无阅读价值的页面统一跳转到某一个页面,如前一级目录面、首页等等,跳转前后的两个网页主体内容不同,不存在可替代的关系。除了404协议死链和内容死链外,站长还需要向百度提交跳转死链。
典型范例9:
典型范例10:
如何批量检测被百度收录的死链的方法
前段时间服务器被入侵,挂了很多博彩之类的黑页,而且全部被百度收录。
现在把漏洞补好了,但删除黑页文件以后成了死链,要怎么让百度删除收录呢?
在网上找了一下,似乎只有检测网址是否被收录的工具,而没有检测收录的是不是死链的工具。
自己理清了下思路,找办法找出了所有被收录的死链,并写下这篇文章。
不知道有没有更好的方法,大家可以告诉我,先分享给大家,如果有大神请忽视或者告诉我更好的方法,一起学习交流吧。
下面教程开始
先在百度找到xenu可以模拟爬虫爬取所有连接,我下载了个汉化版。
我们先用这个工具查询所有被收录的页面。
打开软件,填入简版百度site网站地址,之所以用简版是可以减少链接查询时间和内容。(请把xxx.bizcn.com换成你的网址)
http://www.baidu.com/s?ie=utf-8&tn=baidulocal&wd=site%3Axxx.bizcn.com
等待检测完成。
点击导出为制表符分隔的文件。
导出的文件,我们可以看到格式是:网址+空格+状态码
那么写一个正则,把需要的网址提取出来就行,比如www.baidu.com下的404页面就是
/http://www.baidu.com(.*?)s404/i
(以http://www.baidu.com开头,s代表空格,404,/i代表匹配大小写)
不会正则怎么办?
为了方便大家,我把文件作了修改,大家只要把head改成标致性开头,state改成状态码就行,file改成导出的文件路径就行。
head怎么改,举个例子,
你的网站是http://www.baidu.com/abc.html,那么你就写http://www.baidu.com/
你的网站是http://abc.baidu.com/abc.html,那么你就写http://abc.baidu.com/
把正则写入php,在php环境下运行get.php。那么结果就出来了。
这时你只需要全选,复制到一个txt文件,上传到网站空间,再到百度站长平台死链提交填入文件路径就行就可以。
我们知道,思路是通过爬取找出所有被收录的链接,然后按条件列出来而已。
这样的话,只要把开头输入的site网址改一下,也可以查询其他搜索引擎的收录。
把正则改一下,可以获得如标题等其他内容。在此就不一一叙述。
欢迎关注威尼斯人娱乐老虎机seo的博客,您也可以关注我的微信:beyondnever 或者加我QQ:502791664