Hexo博客如何添加 robots.txt？
网站一定需要被Google搜索，百度搜索收录，这样才能被别人搜索到，而且结果页中排名越靠前，被用户看到的机会越大，
所以我们得通过一个叫 robots.txt的文件放在根目录上。这文件的目的，就是告诉搜索引擎应该搜索我这网站的那些内容。
我们当然希望是搜索我们文章内容本身，不要去搜那些JavaScript和CSS代码。
配置 robots.txt
我们在hexo 根目录下的 public 目录下新建一个robots.txt文件，内容如下：
1 | User-agent: * |
最后面两行是site-map
这里要注意的是如果 js和fonts这些加了disallow的话，会出现谷歌抓取问题。
因为现在（2019-09以后）Google Search默认是用智能手机引擎来抓取，
所以如果js和css这样被disallow的话会有问题，建议还是把上面的disallow去掉。
Sitemap即网站地图
它的作用在于便于搜索引擎更加智能地抓取网站。
最简单和常见的sitemap形式，是XML文件，在其中列出网站中的网址以及关于每个网址的其他元数据（上次更新时间、更新的频率及相对其他网址重要程度等）。
要使用sitemap我们需要安装两个hexo的插件：
1 | npm install hexo-generator-sitemap --save |
然后，我们要在根目录下的_config.yml 的最后面添加如下内容：
1 | sitemap: |
配置 google analytics
在theme/next/_config.yml文件下添加如下配置：
1 | google_analytics: xxx 你的google分析id |
Track ID要到你自己的GA的页面里找
配置ads.txt
ads.txt是干什么用的？
授权数字卖方 (ads.txt) 是一项 IAB 计划，可帮助确保您的数字广告资源只通过您认定为已获得授权的卖家（如 AdSense）进行销售。创建自己的 ads.txt 文件后，您可以更好地掌控允许谁在您的网站上销售广告，并可防止向广告客户展示仿冒广告资源。
在Google Adsense找到相应的页面下载 ads.txt，然后同样放在根目录的public目录下面。
修改博文链接
HEXO默认的文章链接形式为:year/:month/:day/:title/，默认是四级 URL，对搜索引擎来说不太友好，
因此，可以改成domain/postname的形式。
编辑站点的_config.yml文件，修改其中的permalink字段改为permalink: :title.html，如下：
1 | #permalink: :year/:month/:day/:title/ 默认形式 |
配置完成后，重新部署，执行以下指令
1 | hexo：hexo clean && hexo g && hexo d |
什么是规范网页呢？
规范网址是Google认为在您网站上的一组重复网页中最具代表性的网页的网址。
举例来说，如果同一个网页有多个网址，例如：yuanjava.com?page=1 和 yuanjava.com/page/1，Google便会从中选择一个网址作为规范网址。
请注意，不完全相同的网页也可能被视为重复网页；通过对列表式页面的排序或过滤方式（例如，按价格排序或按服装颜色过滤）略做更改而生成的网页并不具有唯一性。
规范网页所在的网域可以与相应重复网页的网域不同。
交流学习
最后，把猿哥的座右铭送给你：投资自己才是最大的财富。 如果你觉得文章有帮助，请帮忙转发给更多的好友，或关注公众号：猿java，持续输出硬核文章。
版权声明： 本博客所有文章未经允许禁止转载！如需转载，请联系作者或关注微信公众号「猿java」申请授权。