在使用提供的脚本在亚马逊云上启动Spark时，有没有一种指定特定操作系统（比如Ubuntu）的AWS AMI的方法？
EC-2脚本启动的默认AMI和操作系统是什么？它是否符合AWS的“免费套餐”计划？
Spark AMI适用于AWS EC-2
4
- Oleg Shirokikh
3
你能更具体地说明一下你所指的脚本吗？它们是由亚马逊提供的吗？还是由你开发的？我们可以看一下这些脚本吗？ - Sébastien Stormacq
1@SébastienStormacq 我的意思是随 Spark 发行版一起提供的标准 Apache Spark EC-2 脚本。 - Oleg Shirokikh
我使用他们的默认AMI建立了一个EC2集群，它使用x86_64 x86_64 x86_64 GNU/Linux作为默认操作系统。不过不确定是否符合免费套餐要求。 - Harsha
1个回答
5
脚本（
spark_ec2.py）默认从https://github.com/mesos/spark-ec2/tree/branch-1.3/ami-list获取AMI列表。您可以通过创建具有个人偏好的分支并使用--spark-ec2-git-repo和--spark-ec2-git-branch进行选择来覆盖它。- Daniel Darabos
8
但是是否有适用于Spark的Ubuntu AMI可用？现有的Amazon Linux版本较旧。仅举一个例子：没有php5.4+的可用性。 - WestCoastProjects
不能简单地升级软件包：亚马逊 Linux 除了有限的集合外，没有包装支持。我研究了 Spark EC2 脚本：它们不包括在 AMI 上构建 Spark 的代码。那本来是我的首选。相反，似乎 AMI 中已经包含了 Spark。 - WestCoastProjects
AMI可能嵌入了脚本以获取最新版本-不确定。但无论如何，我在spark_ec2.py中没有看到如何（如果可能）在启动后自定义AMI。自定义将包括“安装Spark”。在EMR中，这称为引导操作。他们在哪里？我很乐意使用它们。 - WestCoastProjects
我再次查看了spark_ec2.py脚本。我似乎错过了设置spark主节点和从节点的部分。它们位于EC2设置逻辑之后。我还有一个跟进的问题——应该使用哪个vanilla ubuntu或centos ami.. 但我理解如果这被认为是一个单独的问题。无论如何，我已经为你的答案点赞了。 - WestCoastProjects
1不知道这是否有帮助，但是这里有一个拉取请求，说明通过
spark-ec2 访问 ubuntu AMIs 仍在建设中: https://github.com/amplab/spark-ec2/pull/49 - Pierre Cordier显示剩余3条评论
网页内容由stack overflow 提供, 点击上面的可以查看英文原文，
原文链接
原文链接