初识sitemap,robots如何设置

       网站刚发布的时候用百度统计检测显示没有robots,于是在网上下载了一个robots.txt放在了根目录下，也没有去管里面具体内容是什么就再次用百度统计检测提示“您的Robots文件已生效，没有错误”，我以为这就万事大吉了。

      今天打开robots.txt看到内容中的Sitemap的值是这样的：https://domain.com/sitemap.xml，我就奇怪这连接是干嘛用的呢，访问了一下这个连接结果是无效连接。sitemap 字面意思站点地图，百度百科解释如下：

    Sitemap 可方便网站管理员通知搜索引擎他们网站上有哪些可供抓取的网页。最简单的 Sitemap 形式，就是XML 文件，在其中列出网站中的网址以及关于每个网址的其他元数据（上次更新的时间、更改的频率以及相对于网站上其他网址的重要程度为何等），以便搜索引擎可以更加智能地抓取网站。    Google、雅虎、和微软都支持一个被称为xml网站地图（xml Sitemaps）的协议，而百度Sitemap是指百度支持的收录标准，在原有协议上做出了扩展。百度sitemap的作用是通过Sitemap告诉百度蜘蛛全面的站点链接，优化自己的网站。百度Sitemap分为三种格式：txt文本格式、xml格式、Sitemap索引格式。

根据解释可以知道sitemap的三个格式.txt、.xml、.html。如何生成sitemap呢？目前有很多生成站点地图的工具，也可以在线生成。       

  生成网站地图：

  网页版：https://www.xml-sitemaps.com/

  客户端：https://cn.sitemapx.com/

    把生成的文件根据你的所需拷贝到站点根目录。