百度严格遵循搜索引擎Robots协议您可以设置一个Robots文件以限制您的网站全部网页或者部抵足谛垴分目录下网页不被百度收录。具体写法,参见:如何撰佯鲅烫侬写Robots文件。如果您的网站在被百度收录之后才设置Robots文件禁止抓取,那么新的Robots文件通常会在48小时内生效,生效以后的新网页,将不再建入索引。需要注意的是,robots.txt禁止收录以前百度已收录的内容,从搜索结果中去除可能需要数月的时间。如果您的拒绝被收录需求非常急迫,可以在反馈中心反馈,我们会尽快处理。
https://v.youku.com/v_show/id_XOTI0MTA2NTYw.html?spm=a2h0k.11417342.soresults.dtitle
方法/步骤
1、设置一个Robots文件限制网站的全部网页或者部分目录下网页不被百度收录。具体写法,参见:如何撰写Robots文件。
2、如何撰写Robots文件看到很多网站都冤铘讵柘没有robots文件,那么一个常规的robots.txt文件应该要这么写呢,小编明天给大家来说辔亿呶邂说robots.txt怎样写,robots文件常规的写法。下图是小编的robots文件,小编先给大家解释一下其中的写法。允许一切搜索引擎拜候User-agent:*Allow:制止一切搜索引擎拜候User-agent:*Disallow:/网站地图:Sitemap:哪些页下面要用robots.txt屏蔽明白怎样写了吗,但很多站长朋友还是不晓得哪些页下面需求屏蔽,让搜索引擎不被访问,其实很复杂,不想被搜索引擎抓取的页下面就屏蔽,那么哪些页下面是我们不想被搜索引擎抓取的呢。空白页下面:什么是空白页下面,比如注册页下面、联络我们、关于我们等页下面属于空白页下面,由于这种页下面在搜索引擎看来是没有意义的,没有人会搜索注册离开你的网站。后台页下面:后台是不被搜索引擎收录的,所以我们需求robots屏蔽后台登陆页下面。静态页下面:通常状况下,我们网站都会做伪静态,那么静态页下面我们会屏蔽掉。总结:robots文件有必要写,一来给搜索引擎做个更好的第一印象,其次是给搜索引擎做一个网站地图。
3、新的Robots文件一般在2天内生效如果您的网站在被百度收录之后才设置Robots文件禁止抓取,那么新的Robots文件通常会在48小时内生效,生效以后的新网页,将不再建入索引。即网络爬虫不会检索屏蔽的页面内容
4、禁止收录以前百度已收录的内容需要注意的是,robots.txt禁止收录以前百度已收录的内容,从搜索结果中去除可能需要数月的时间。因为百度服务器有区域备份,多个服务器之间需一段时间才能完成同步更新。
5、拒绝被收录需求非常急迫如果您的拒绝被收录需求非常急迫,可以在反馈中心反馈,我们会尽快处理。以上信息是否解决了您的问题反馈中心网址:https://ziyuan.baidu.com/feedback#/