SEO优化：Robots.txt允许搜索引擎抓取网站的JS和CSS

Robots.txt 文件规定了搜索引擎抓取工具可以访问哪些网址，如果禁止了对网页上的 JS 和 CSS 的抓取，会导致抓取工具无法获取完整的网页内容，难以解读网页，这会影响网站的收录和排名。

移动设备易用性未通过检查

比如谷歌站长平台有一项移动设备易用性检查，当阻止 JS/CSS 的抓取后，会提示“网页在移动设备上未通过易用性检查，存在这些问题的网页无法提供良好的网页体验”，这必然会影响网站的排名。

不要在Robots.txt禁止抓取

因此我们不要在 Robots.txt 禁止搜索引擎的爬虫抓取这些资源。以 WordPress 为例，玩机大学的 Robots.txt 文件最上方添加了如下内容：

User-agent: *
Allow: /wp-content/themes/*.js
Allow: /wp-content/themes/*.css
Allow: /wp-includes/*.css

这表示允许任何爬虫抓取主题和wp-includes的中的 JS 与 CSS 文件。