屏蔽蜘蛛抓取友情链接

5、对方网站有动态的链接 对方网站的网页路径存在着动态的链接，那么，我们也尽量不和这类型的网站交换友链，因为，动态链接路径是搜素引擎蜘蛛不喜欢的，动态链接路径是时常变化的，搜索引擎蜘蛛比较不好抓取，因此，蜘蛛对。所以，对于nofollow的链接方式，google是不会传递PR的，对于nofollow的链接方式，对于站长来说没有任何意义，所以大家在交换友情链接的时候，一定要注意对方是否以nofollow的方式链接你的站。 查看原帖>> 。在服务器根目录，新建一个robots。txt文件，里面添加自己不想让蜘蛛爬取的目录：写法 1。如果你站点中的所有文件，都可以让蜘蛛爬取、收录的话，那么语法这样写:User-agent: *Disallow:当然，如果你网站中全部的文件都可以让。这样对于友链是不好的，既然交换了干嘛还要屏蔽呢，直接不换就是了。。在网站的根目录里面，放入robots。txt文件，这样就可以屏蔽蜘蛛的爬取，不过在文件里面要放入你不想让蜘蛛爬取的地方。详细的内容你打开这个网址可以看到 http://help。baidu。com/question?prod_en=se