什么是SiteMap？
使你能够告知网站中可供抓取的网址。最简便的方式就是，使用 Sitemaps 的 Sitemaps 就是列有某个网站所有网址的XML 文件。此协议可高度扩展，因此可适用于各种大小的网站。它还能够使网站管理员提供有关每个网址的其他信息（上次更新的时间、更改的频率、与网站中其他网址相比它的重要性等），以便搜索引擎可以更智能地抓取该网站。
有什么作用？
1、用 SiteMap 有利于搜索引擎更加友好的对网站进行收录，不要让网站的收录有些漏洞或者收录不全。有了SiteMap 可以很好的在这方面发挥作用。
2、有了 SiteMap 并提交给搜索引擎之后，方便你在以后进行下一步的工作，比如对网站的外部链接和内链错误进行更好的调整，这些都要用到SiteMap 的提交功能。
所以，SiteMap 的整个作用是不容忽视的。如果你的网站属于下列情况，那么，使用SiteMap 会特别实用：
- 网站含动态内容。
- 网站有不容易被发现的页面，如有大量富 AJAX 或 Flash 内容的页面。
- 网站为新网站且指向网站的链接不多。
- 网站有大量内容页存档，这些内容页相互没有很好地链接，或根本就没有链接。
- 网站上网页的更改频率。
- 各网页上次修改的日期。
- 您网站上各网页的相对重要性。
什么是Robots.txt ？
.txt 是一个纯文本文件，通过在这个文件中声明该网站中不想被robots 访问的部分，这样，该网站的部分或全部内容就可以不被搜索引擎收录了，或者指定搜索引擎只收录指定的内容。
当一个搜索机器人访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果找到，搜索机器人就会按照该文件中的内容来确定访问的范围，如果该文件不存在，那么搜索机器人就沿着链接抓取。
