如何在C# Core中从Azure Blob存储中读取所有文件

Question

我希望可以从 Azure Blob 存储中读取文件（文件位于文件夹内），该存储包含多个文件夹。我想要读取名为“blobstorage”的文件夹，其中包含多个 JSON 文件，并对每个文件执行 .read 和一些操作。我尝试了很多未成功的代码：

 CloudStorageAccount storageAccount = CloudStorageAccount.Parse(connectionString);
            CloudBlobClient blobClient = storageAccount.CreateCloudBlobClient();
            CloudBlobContainer container = blobClient.GetContainerReference($"blobstorage");

上面的代码使用了“Microsoft.WindowsAzure.Storage”NuGet包。该代码未按预期工作。 在stackoverflow中找到的许多问题和答案已经过时，无法使用。 注：如果有任何NuGet提及，也是因为它们有许多包。

- RaZiQ PS

Answer 1

我在这个帖子里找到了解决方案，对我来说完美地工作。下载后，您只需像读取普通流一样进行阅读。

BlobServiceClient blobServiceClient = new BlobServiceClient("connectionString");
BlobContainerClient containerClient = blobServiceClient.GetBlobContainerClient("containerName");
BlobClient blobClient = containerClient.GetBlobClient("blobName.csv");
if (await blobClient.ExistsAsync())
{
  var response = await blobClient.DownloadAsync();
  using (var streamReader= new StreamReader(response.Value.Content))
  {
    while (!streamReader.EndOfStream)
    {
      var line = await streamReader.ReadLineAsync();
      Console.WriteLine(line);
    }
  }
}

- manuelrb98

---

代码可以运行，但性能非常差。 - Shahid Malik

Answer 2

我没有看到任何使用Microsoft.WindowsAzure.Storage包列出所有Blob的选项。如果你可以使用Azure.Storage.Blobs包，那么请尝试下面的代码。

using Azure.Storage.Blobs;
using Azure.Storage.Blobs.Models;
using System;

namespace ConsoleApp2
{
    class Program
    {
        static string connectionString = "DefaultEndpointsProtocol=https;AccountName=storage******c9709;AccountKey=v**************************************;EndpointSuffix=core.windows.net";
        static string container = "azure-webjobs-hosts";
        static void Main(string[] args)
        {
            // Get a reference to a container named "sample-container" and then create it
            BlobContainerClient blobContainerClient = new BlobContainerClient(connectionString, container);
            blobContainerClient.CreateIfNotExists();
            Console.WriteLine("Listing blobs...");
            // List all blobs in the container
            var blobs = blobContainerClient.GetBlobs();
            foreach (BlobItem blobItem in blobs)
            {
                Console.WriteLine("\t" + blobItem.Name);
            }            
            Console.Read();
        }
    }
}

输出

您还可以下载 blob 的内容，请查看此链接

- Pankaj Rawat

---

只是列出所有文件。我想从特定文件夹中读取所有文件。 - RaZiQ PS

您还可以下载blob检查更新的答案内容，我添加了链接。 - Pankaj Rawat

我不需要所有的 blob，只需要指定文件夹中的文件并读取文件内容，无法下载。 - RaZiQ PS

容器内的文件夹只是虚拟文件夹，您可以从特定容器中读取所有文件和文件夹，然后过滤并下载所需的文件夹JSON文件。 - Pankaj Rawat

Answer 3

如果你需要下载大量数据并寻求效率，那么你可能不想在单个线程上逐个下载它们。使用多个线程和异步操作。

以下是这个话题的好文章：

https://learn.microsoft.com/en-us/azure/storage/blobs/storage-blob-scalable-app-download-files?tabs=dotnet

下载1000个文件：

• 单线程下载：30秒下载时间
• 多线程下载：4秒下载时间

- Mana

Answer 4

您可以在SDK GitHub存储库中找到C#的示例代码，链接如下： https://github.com/Azure/azure-sdk-for-net/tree/Azure.Storage.Blobs_12.8.0/sdk/storage/Azure.Storage.Blobs/ 您可以使用以下命令将包添加到您的dotNet Core项目中。

dotnet add package Azure.Storage.Blobs

根据那里的示例，您可以枚举 Blob，然后读取您要查找的 Blob。

- nmishr

Answer 5

尝试以下代码：

var connectionString = "你的连接字符串";

        CloudStorageAccount storageacc = CloudStorageAccount.Parse(connectionString);
        //Create Reference to Azure Blob
        CloudBlobClient blobClient = storageacc.CreateCloudBlobClient();
        CloudBlobContainer container = blobClient.GetContainerReference("containerName");
        var blobs = container.GetDirectoryReference("FolderName").GetDirectoryReference("FolderName").ListBlobs().OfType<CloudBlockBlob>().ToList();
        Console.WriteLine("Total files found in directory: " + blobs.Count.ToString());
        var tempBlobList = blobs.Where(b => b.Name.Contains("fileName")).ToList();
        var response = await tempBlobList[0].DownloadTextAsync();

- bhumika sharma