Umbraco的Robots.txt文件

Question

我想知道Umbraco（7.5）网站是否有默认的Robots.txt文件。 目前，我创建了以下项目的Robots.txt文件。我需要添加其他内容吗？

User-Agent: *
Disallow: /umbraco/
Disallow: /umbraco_client/
Disallow: /css
Disallow: /Errorpages/
Disallow: /scripts/
Disallow: /Config/

- Ashkan S

---

别忘了你的sitemap: /sitemap.xml（如果有提供站点地图）。 - Anth12

Answer 1

你应该考虑从列表中删除/css和/scripts。实际上，我认为让它们可用会更友好/更好。否则，作为预防措施，也许把/install/放在那里。

- Jannik Anker

---

感谢@jannikAnker的帮助，我还添加了一些更多 :) - Ashkan S

Answer 2

关于CSS和JSS，请查看：https://yoast.com/dont-block-your-css-and-js-files/。我最近决定将它们剪掉。

我的Umbraco实例一直使用的robots.txt文件如下：

# robots.txt for Umbraco
User-agent: *
Disallow: /aspnet_client/
Disallow: /bin/
Disallow: /config/
Disallow: /data/
Disallow: /install/
Disallow: /macroScripts/
Disallow: /masterpages/
Disallow: /umbraco/
Disallow: /umbraco_client/
Disallow: /usercontrols/
Disallow: /xslt/
User-agent: Libwww-perl
Disallow: /
Sitemap: http://{HTTP_HOST}/sitemap

- Marcin Zajkowski

Answer 3

我最终使用了这个。

Sitemap: https://{HTTP_HOST}/sitemap.aspx
User-agent: *
Disallow: /aspnet_client/
Disallow: /bin/
Disallow: /config/
Disallow: /css/
Disallow: /data/
Disallow: /install/
Disallow: /masterpages/
Disallow: /python/
Disallow: /scripts/
Disallow: /umbraco/
Disallow: /umbraco_client/
Disallow: /usercontrols/
Disallow: /xslt/

- Ashkan S