新关于robots.txt一分钟教程

　　

   
    robots.txt是一个纯文本文件，在这个文件中网站管理(guǎn lǐ)者可以声明该网站中不想被robots访问的部分，或者指定搜索引擎(Engine)只收录指定的网站内容。当一个搜索机器人访问一个站点时，它会首先巡查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的网站内容来确定访问的范围(fàn wéi)；如果该文件不存在，那么搜索机器人就沿着链接抓取。另外，robots.txt必须放置在一个站点的根目录下，而且文件名必须全部小写。
    首先要说：robots.txt很简单
    学习robots主要搞明白下面3个问题(Emerson)：
   
　　1. robots是什么？
   
　　2. robots有什么作用？
   
　　3. 如何写robots.txt？
    robots是什么？
    kyw的回答： robots就是一个必须放在网站根目录、让搜索蜘蛛(baiduspider)读取的txt文件，文件名必须是小写的"robots.txt"。网站关键词排名是一种在搜索引擎搜索结果中以相关字、词、词组体现网页排名的方式。可以分为关键词自然排名以及各搜索引擎提供的关键词竞价排名服务两种
    robots有什么作用？
    kyw的回答：通过(tōng guò)robots.txt可以控制（control)SE收录网站内容，告诉蜘蛛(baiduspider)哪些文件和目录可以收录，哪些不可以收录。网站关键词排名是指通过各种搜索引擎优化（seo）方式，使您网站的关键词在再搜索引擎自然排名中靠前。用户通过搜索引擎搜索相关的关键词，如电动车、珍珠、pearl等，左侧自然排名中排首页的全球多仅10个网站，而这些排位是根据网站相关性和重要性等参数来排序的，非常公正。那是金钱买不来的，你的排名高，意味着你在行业的影响力远远超过同行。网站关键词排名是一种在搜索引擎搜索结果中以相关字、词、词组体现网页排名的方式。可以分为关键词自然排名以及各搜索引擎提供的关键词竞价排名服务两种
    如何写robots.txt
    用几个常见的情况(Condition)，直接举例(sample)说明：
   
　　1. 允许所有SE收录本站：robots.txt为空就可以，什么都不要写。
   
　　2. 禁止所有SE收录网站的某些目录：
    User-agent: *
    Disallow: /目录名1/
    Disallow: /目录名2/
    Disallow: /目录名3/
   
　　3. 禁止某个SE收录本站，例如禁止百度：
    User-agent: Baiduspider
    Disallow: /
   
　　4. 禁止所有SE收录本站：
    User-agent: *
    Disallow: /