高效、专业、符合SEO优化,首选翠竹林wordpress主题,大气,简洁,清新。点击群2:翠竹林wordpress主题 群2:613574832 QQ:458940846,985300418

标签:robots

wordpress seo

用robots.txt文件屏蔽wordpress登陆页面及后台文件

今天查看服务器日志发现百度蜘蛛baiduspider的抓取量增长了许多,但是也发现百度蜘蛛有抓取一些没有价值的页面包括wordpress后台文件和登陆页面,这些页面对搜索引擎用户来讲是没有价值的,因此被收录了也没有意义。除此之外,一定时间内,搜索引擎蜘蛛的抓取量一定的,当把部分时间浪费抓取在无效页面上,那么有效页面抓取的时间就会变少,有效页面的抓取量就会变少……继续阅读 »

空谷 2年前 (2015-11-17) 928浏览 0评论

wordpress seo

距离四天百度更新了翠竹林wordpress主题的robots文件

之前翠竹林wordpress主题还没有正式上线,因此robots.txt一直是处于屏蔽蜘蛛的状态,2015.11.4日翠竹林wordpress主题网正式开放robots.txt允许蜘蛛抓取,用百度站长平台的抓取诊断工具抓取网站首页显示是抓取失败,原因是robots封禁,对此空谷为吸引百度蜘蛛做的几项工作,经过四天后,百度终于更新了翠竹林wordpress主题……继续阅读 »

空谷 2年前 (2015-11-09) 844浏览 0评论

wordpress seo

翠竹林wordpress主题开放robots之后为吸引百度蜘蛛做的几项工作

之前空谷曾经写过文章表达百度蜘蛛不一定遵守robots.txt文件,不过长期来看百度还是遵守的,翠竹林wordpress主题屏蔽百度蜘蛛之后发现最终百度还是把收录的首页给删除了,但还保留数据在其数据库中,然后最近几天空谷查看服务器日志,百度蜘蛛也不来抓取了,百度站长平台也显示抓取量是0,如图所示: 目前翠竹林wordpress主题已经正式上线,并开放了ro……继续阅读 »

空谷 2年前 (2015-11-07) 772浏览 0评论

wordpress seo

翠竹林wordpress主题网正式开放robots.txt允许蜘蛛抓取

经过两个多月的准备,翠竹林wordpress主题网正式开发robots.txt允许蜘蛛抓取,之前一直用robots.txt屏蔽蜘蛛抓取收录,不过一开始的时候百度还是抓取和收录了首页,空谷还以为百度不遵守robots.txt,不过长时间屏蔽,百度最终还是删除了索引,但是在百度站长平台中还是能看到百度有索引了一部分的数据,只是前台没有放出来。查看服务器日志,百度……继续阅读 »

空谷 2年前 (2015-11-04) 2961浏览 1评论

wordpress seo

wordpress使用教程-给wordpress增加robots.txt文件

wordpress默认情况下是没有robots.txt文件的,但是我们在做网站的时候需要屏蔽蜘蛛的抓取,尤其的网站建设的初期,好多内容都没有建设好,很多链接还没有规范化,如果被搜索引擎抓取,对网站后期的权重提升会有一定的影响。 因此我们需要自己创建一个robots.txt文件,上传到网站根目录。初期屏蔽的指令是: User-agent: * Disallo……继续阅读 »

空谷 2年前 (2015-08-06) 970浏览 0评论