Robots.txt，禁止多语言URL。

Question

6

我有一个公共页面，用户不应该能够登录。我有一个没有链接的url，你必须手动输入并登录。

但是这个url是多语言的，所以它可以是“/SV/Account/Logon”或“/EN/Account/Logon”等等。我能否禁用此url在所有语言中被索引？

- Oskar Kjellin

1个回答

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- ajay_whiz · Accepted Answer

3

这个链接可能会对你有所帮助：http://www.robotstxt.org/robotstxt.html。在你的情况下，没有通配符排除，你需要在robot.txt中添加所有特定语言的登录url。

更新：

你可以在robots.txt文件中添加 Disallow: /folder/subfolder/ 或 Disallow: /folder/。

- ajay_whiz

谢谢回答。我已经阅读了那个，但不想这样做。例如其他用户可能会使用管理员界面添加更多语言，他们不知道如何编辑robots.txt文件。也许我可以在添加更多语言时从我的代码中编辑它。 - Oskar Kjellin

@Oskar，您还可以考虑将这些页面移动到一个文件夹下，并将该文件夹添加到 robots.txt 的例外列表中。 - ajay_whiz

@ajay_whiz 它们都在同一个文件夹下。但是我可以编写文件夹吗？我曾认为 URL 是唯一影响这个的东西。 - Oskar Kjellin

1

@Oskar 是的，你可以将其设置为 Disallow: /folder/subfolder/ 或 Disallow: /folder/。 - ajay_whiz

@ajay_whiz 谢谢，麻烦您发表一个答案，这样我就可以接受它了 :) - Oskar Kjellin