百度将如何应对新浪博客屏蔽门事件

日期:2013-08-08    阅读:1434

突然间发现我在新浪上的几个博客在百度上都不能找到了,当时还很疑惑,这是什么原因呢?然后在网上一查,才知道,原来新浪博客屏蔽了百度蜘蛛的抓取,这是为什么呢?

随着SEO行业的兴起,很多的SEOer都在新浪博客上养了好多的博客已便增加外链,可是这样也给新浪博客带来了很多的垃圾信息,继淘宝、sohu博客、校内网、海内网、51.com、中搜纷纷宣布屏蔽百度搜索引擎举措后,新浪博客也屏蔽了百度蜘蛛对其内容的抓取。

我们可以从新浪博客的robots.txt中看出新浪博客的确是屏蔽了百度。

#####################################################
    # SINA BLOG 禁止搜索引擎收录配置文件
    # 文件:  ~/robots.txt
    # 编写:  阿狼
    # 日期:  2005-03-24
    #####################################################

#开放百度的搜索引擎的User-Agent代码,*表示所有###########(编辑注明:这里应该是禁止百度的搜索引擎的User-Agent代码,而不是开放。估计是后期调整设置时注释错误了。)
    User-agent: Baiduspider

#限制不能搜索的目录,Disallow: 为空时开放所有目录####
    Disallow: /admin/
    Disallow: /include/
    Disallow: /html/
    Disallow: /queue/
    Disallow: /config/

#限制的搜索引擎的User-Agent代码,*表示所有###########
    User-agent: *

#临时限制对所有目录的禁止抓取
    Disallow: /

#限制不能搜索的目录,Disallow: 为空时开放所有目录####
    ##Disallow: /admin/
    ##Disallow: /include/
    ##Disallow: /html/
    ##Disallow: /queue/
    ##Disallow: /config/

#开放搜索的目录有####################################
    # /
    # /advice/
    # /help/
    # /lm/
    # /main/
    # /myblog/

#搜索引擎User-Agent代码对照表########################
    # 搜索引擎    User-Agent代码
    # AltaVista    Scooter
    # Infoseek    Infoseek
    # Hotbot     Slurp
    # AOL Search    Slurp
    # Excite     ArchitextSpider
    # Google     Googlebot
    # Goto     Slurp
    # Lycos     Lycos
    # MSN      MSNBOT
    # Netscape    Googlebot
    # NorthernLight   Gulliver
    # WebCrawler    ArchitextSpider
    # Iwon     Slurp
    # Fast     Fast
    # DirectHit    Grabber
    # Yahoo Web Pages   Googlebot
    # Looksmart Web Pages  Slurp
    # Baiduspider    Baidu

自从谷歌退出了中国大陆后,百度可谓是一家独大,但是百度树敌太多,引起了众网站的不满,百度又该如何应对呢?