robots的几种作用介绍

 robots的几种作用：　　1.屏蔽所有的搜索引擎抓取信息，如果你的网站只是你的私密性的网站，不想太多的人知道的话，可以利用robots屏蔽掉所有的搜索引擎,例如你写的私人博客。你就可以把搜索引擎全都屏蔽掉　　User-agent:*　　Disallow:/　　2.如果你只想某一个

发布时间：2021-11-02分类：软件教程浏览：评论：0