如何防止Heroku应用被Google索引？

Question

尽管经过搜索，我没有找到最终的答案。

我有两个在Heroku上的应用程序：

• myapp-stagging.herokuapp.com
• myapp-with-real-domain-name.com

这两个应用程序目前没有内容（没有在Google中索引）

在向它们推送内容之前，我想确认我的暂存应用程序不会被Google索引。 正确的方法是什么？ 我不明白因为人们谈论 robots.txt 但我应该在哪里编写这个文件？

谢谢。

附：SO是否是正确的StackExchange网站来询问此事？如果不是，请原谅。

- David Dahan

Answer 1

我在Webmasters StackExchange上发现了一个类似的问题：https://webmasters.stackexchange.com/a/65378/31283 你可以在应用程序的每个页面上添加链接关系规范标签（link rel canonical tag）。

<link rel="canonical" href="http://myapp-with-real-domain-name.com" />

- Mark Biesheuvel

Answer 2

请点击这里查看完整的指令 - http://www.robotstxt.org/robotstxt.html

它的工作原理如下：机器人想要访问一个网站的URL，比如说http://www.example.com/welcome.html。在访问之前，它首先检查http://www.example.com/robots.txt

我猜这会给你一个放置robots.txt文件的想法

- Mysterion

---

谢谢您！但是在Heroku上如何处理多个环境的robots.txt文件？是否有创建2个文件的方法？或者我应该在Heroku中使用环境变量？https://dev59.com/TGbWa4cB1Zd3GeqPbuvW>听起来很有希望:) - David Dahan

我不理解你的问题。"several env with one robots.txt" 是什么意思？ 我猜你需要在测试环境和正式应用上分别放置一个 robot txt文件。 - Mysterion

Heroku不是那样工作的。您在所有环境中都有相同的文件。但是您可以处理env vars。我根据env var创建了动态robots.txt，看起来可以工作 :) - David Dahan