我正在尝试使用这里记录的
pandas.DataFrame.to_gbq()
函数将一个pandas.DataFrame
上传到Google Big Query。问题在于,to_gbq()
需要2.3分钟,而直接上传到Google Cloud Storage只需要不到一分钟的时间。我打算上传一堆数据框(~32)每个大小相似,所以我想知道哪种方式更快。
这是我正在使用的脚本:dataframe.to_gbq('my_dataset.my_table',
'my_project_id',
chunksize=None, # I have tried with several chunk sizes, it runs faster when it's one big chunk (at least for me)
if_exists='append',
verbose=False
)
dataframe.to_csv(str(month) + '_file.csv') # the file size its 37.3 MB, this takes almost 2 seconds
# manually upload the file into GCS GUI
print(dataframe.shape)
(363364, 21)
我的问题是,哪种方法更快?
- 使用
pandas.DataFrame.to_gbq()
函数上传Dataframe
- 将
Dataframe
另存为 CSV 文件,然后使用 Python API 作为文件上传到 BigQuery - 将
Dataframe
另存为 CSV 文件,然后使用 此过程 将文件上传到 Google Cloud Storage,再从 BigQuery 中读取它
更新:
备选方案1似乎比备选方案2更快 (使用 pd.DataFrame.to_csv()
和 load_data_from_file()
平均快了 17.9 秒,共运行了 3 次循环):
def load_data_from_file(dataset_id, table_id, source_file_name):
bigquery_client = bigquery.Client()
dataset_ref = bigquery_client.dataset(dataset_id)
table_ref = dataset_ref.table(table_id)
with open(source_file_name, 'rb') as source_file:
# This example uses CSV, but you can use other formats.
# See https://cloud.google.com/bigquery/loading-data
job_config = bigquery.LoadJobConfig()
job_config.source_format = 'text/csv'
job_config.autodetect=True
job = bigquery_client.load_table_from_file(
source_file, table_ref, job_config=job_config)
job.result() # Waits for job to complete
print('Loaded {} rows into {}:{}.'.format(
job.output_rows, dataset_id, table_id))