我已经为我的bigquery项目创建了client id
和client secret
,但我不知道如何使用它们成功地将pyspark脚本中的数据帧保存到我的bigquery表中。我的python代码如下所示,并出现以下错误。是否有一种方法可以使用pyspark数据帧的保存选项连接到BigQuery?
代码
df.write \
.format("bigquery") \
.option("client_id", "<MY_CLIENT_ID>") \
.option("client_secret", "<MY_CLIENT_SECRET>") \
.option("project", "bigquery-project-id") \
.option("table", "dataset.table") \
.save()
错误 py4j.protocol.Py4JJavaError: 在调用o93.save时发生错误: com.google.cloud.spark.bigquery.repackaged.com.google.cloud.bigquery.BigQueryException: 400 Bad Request {"error": "invalid_grant", "error_description": "Bad Request"} 在com.google.cloud.spark.bigquery.repackaged.com.google.cloud.bigquery.spi.v2.HttpBigQueryRpc.translate(HttpBigQueryRpc.java:106)处, [...]由于com.google.cloud.spark.bigquery.repackaged.com.google.api.client.http.HttpResponseException: 400 Bad Request {"error": "invalid_grant", "error_description": "Bad Request"}引起的。
请使用构建器设置项目ID
。 - Megan