logo标签列表

Azure存储中ABFSS和WASBS有什么区别？

azureazure-storageazure-blob-storageazure-storage-files
34

有关什么是ABFS[S]和WASB[S]的定义是可以找到的。但是没有明确的分界线可以说明何时使用哪个。那么这两者最合适和最恰当的使用情况是什么呢？

3个回答
27
我有一个关于使用Azure Key Vault的问题，发布在这里。我想知道您是否有时间在那里分享您的想法。 - nam
这个问题是关于何时使用什么的。你的回答没有传达任何实质性的内容，这些内容在通过谷歌搜索abfs或wasb时已经可以找到了。 - David Beavon
23

1）使用HTTP进行Blob存储

Azure引入了Blob存储，它是一种具有扁平结构的对象存储。没有文件夹或层次结构的概念。虽然在文件名中使用斜杠（/）会给人以层次结构的错觉。

可以使用HTTP协议的blob端点（blob.core.windows.net）来读取和写入Blob。

https://storageaccount.blob.core.windows.net/container/path/to/blob

2) 使用WASBS的Blob存储

如果Hadoop应用程序想要与Azure Blob存储进行交互，那么可以使用WASBS驱动提供HDFS兼容性。该驱动程序执行将文件系统语义（根据Hadoop文件系统接口所需）映射到由Azure Blob存储公开的对象存储样式接口的复杂任务。

wasbs://containername@accountname.blob.core.windows.net

使用WASB驱动程序，使用该驱动程序的工具（如HDInsight）可以连接到同一blob端点（blob.core.windows.net）上的Blob存储。

3）ABFSS的ADLS

（忽略已弃用的单独服务ADLS gen 1）

{{link1：查看此答案以了解Blob存储和ADLS之间的区别}}

然后出现了ADLS Gen2（Azure的HDFS提供），它支持分层存储（文件夹概念）并具有文件和文件夹的ACL等功能。启用分层命名空间功能的存储帐户将从Blob存储转换为ADLS Gen2。为了与ADLS gen2通信，使用DFS端点（dfs.core.windows.net）。

abfss://filesystemname@accountname.dfs.core.windows.net

Hadoop 应用现在可以使用 ABFS 驱动程序连接到 ADLS。由于新的 DFS 端点，驱动程序现在非常高效，并且驱动程序中没有复杂映射的要求。像 Horton works、HDInsight、Azure Databricks 这样的解决方案可以使用 ABFSS 驱动程序更有效地连接到 ADLS。
此外，您会注意到一些工具（如 PowerBI）支持 WASBS 和 ABFSS 两种驱动程序。

该用什么？

如果使用ADLS，

  • 在使用Hadoop/Data processing工具如Databricks、HD Insight时，必须使用DFS endpoint上的ABFSS。
  • ADLS HTTP rest endpoint文档。如果需要，可进行HTTP调用。例如：一个试图列出路径的Python应用程序等。
  • ADLS建立在Blob存储之上，因此也可以使用Blob endpoint来读取和写入数据。

如果使用Blob存储，

  • 在使用Hadoop/Data processing工具时，可以使用Blob endpoint上的WASBS（WASB将来会被弃用）。
  • ABFS Driver也是跨兼容的，也可以使用该驱动程序。
  • 其他用例可以简单地使用HTTP端点而不需要任何特殊的驱动程序。例如：一个使用HTTP endpoint读写文件到Blob存储的Python应用程序等。
  • ADLS - Azure 数据湖存储
  • WASB - Windows Azure 存储 Blob（提供未加密访问）
  • WASBS - Windows Azure 存储 Blob 安全版（支持 TLS 加密访问）
  • ABFS - Azure Blob 文件系统
  • ABFSS - Azure Blob 文件系统安全版
  • DFS - 分布式文件系统

更新1：

微软已经弃用了Windows Azure Storage Blob驱动程序（WASB），转而推荐使用Azure Blob Filesystem驱动程序（ABFS）。相比WASB，ABFS具有许多优点。对于新的工作负载，请使用ABFS来处理Blob存储和数据湖。

13

ABFS代表Azure Blob文件系统，微软建议将其用于大数据工作负载，因为它针对此进行了优化，正如此处所述。

WASBS代表Windows Azure存储Blob，微软推荐使用它，因为它提供了TLS加密访问，正如此处所述。

网页内容由stack overflow 提供, 点击上面的
可以查看英文原文，
原文链接