网站单个内容不让百度收录

如果您的网站在被百度收录之后才设置Robots文件禁止抓取，那么新的Robots文件通常会在48小时内生效，生效以后的新网页，将不再建入索引。需要注意的是，robots。txt禁止收录以前百度已收录的内容，从搜索结果中去除可能需要数月的。这都表现为用户体验不好。所以清华网络建议广大客户不要过分注重网站的美观度，用户体验也是十分重要的。百度是重视用户体验的，所以如果新站用户体验不好，百度也是会给予不收录内页的处理的。如果您的网站在被百度收录之后才设置Robots文件禁止抓取，那么新的Robots文件通常会在48小时内生效，生效以后的新网页，将不再建入索引。需要注意的是，robots。txt禁止收录以前百度已收录的内容，从搜索结果中去除可能需要数月的。User-agent:Disallow: / 2）允许所有的robot访问（也就是网站允许所有搜索引擎收录）User-agent:Disallow:3）禁止某个搜索引擎的访问（比如禁止百度收录，按如下的方式写）User-agent: baiduspider Disallow: / 4）允许某个。站长在做SEO的时候，有些页面非常重要，可是网站