使用Python Paramiko从SFTP服务器读取.csv文件到内存

Question

我试图在Python内存中读取SFTP上的CSV文件。我尝试了以下方法，这对于FTP连接很有效，但对于SFTP则不然。

例如，我想复制：

df = pd.read_csv(...)

但是我不想先将它存储在本地（原因是我想将其作为云函数运行，然后我不希望在缓存中有本地文件）。

我该如何做到不同呢？

def read_file_sftp_local_memory(sftp, path, filename):

    flo = BytesIO()
    path_query = "".join(['RETR ', path, '/', filename])
    sftp.retrbinary(path_query, flo.write)
    flo.seek(0)
    return flo

我也尝试了以下方法：

def read_file_csv(sftp, path, filename):

    # Download
    sftp.get("/".join( os.path.join(path, filename) ), filename)

    # Read
    df = pd.read_csv(filename)

    # Delete
    os.remove(filename)

    # Return
    return df

但是这个错误被返回：

raise IOError(text)
OSError: Failure

- JohnAndrews

Answer 1

假设您正在使用Paramiko SFTP库，可以使用SFTPClient.open方法：

with sftp.open(path) as f:
    f.prefetch()
    df = pd.read_csv(f)

---

为了实现 prefetch 的目的，请参阅使用Python Paramiko SFTPClient.open方法打开文件时速度较慢。

- Martin Prikryl