目标 - 读取上传到Google Cloud存储桶的csv文件。
环境 - 在主节点上运行SSH实例，使用Jupyter笔记本中的Python尝试访问上传到Google Cloud存储桶上的简单csv文件。
方法 -
第一种方法 - 编写一个简单的Python程序
编写了以下程序
import csv
f = open('gs://python_test_hm/train.csv' , 'rb' )
csv_f = csv.reader(f)
for row in csv_f
print row
结果 - 错误信息 "没有这样的文件或目录"
第二种方法 - 使用gcloud包尝试访问train.csv文件。示例代码如下所示。下面的代码不是实际代码。在我的代码版本中，Google云存储上的文件被引用为"gs:///Filename.csv" 结果 - 错误信息 "没有这样的文件或目录"
从CSV加载数据
import csv
from gcloud import bigquery
from gcloud.bigquery import SchemaField
client = bigquery.Client()
dataset = client.dataset('dataset_name')
dataset.create() # API request
SCHEMA = [
SchemaField('full_name', 'STRING', mode='required'),
SchemaField('age', 'INTEGER', mode='required'),
]
table = dataset.table('table_name', SCHEMA)
table.create()
with open('csv_file', 'rb') as readable:
table.upload_from_file(
readable, source_format='CSV', skip_leading_rows=1)
第三种方法 -
import csv
import urllib
url = 'https://storage.cloud.google.com/<bucket>/train.csv'
response = urllib.urlopen(url)
cr = csv.reader(response)
print cr
for row in cr:
print row
结果 - 上述代码没有出现任何错误，但它显示了 Google 页面的 XML 内容，如下所示。我有兴趣查看火车 csv 文件的数据。
['<!DOCTYPE html>']
['<html lang="en">']
[' <head>']
[' <meta charset="utf-8">']
[' <meta content="width=300', ' initial-scale=1" name="viewport">']
[' <meta name="google-site-verification" content="LrdTUW9psUAMbh4Ia074- BPEVmcpBxF6Gwf0MSgQXZs">']
[' <title>Sign in - Google Accounts</title>']
有人可以解释一下这里可能出了什么问题，以及我如何达到我的目标吗？非常感谢您的帮助！
非常感谢您的帮助！