检查pySpark数据框是否存在

Question

有没有一种方法可以在pySpark中检查数据框是否存在？

我知道在原生的Python中，可以通过以下方式检查数据框是否存在：

exists(df_name) && is.data.frame(get(df_name))

在 pySpark 中如何实现这个功能？因为命令 exists 会抛出错误。

- jgtrz

Answer 1

它与 Petel 代码相同。您可以导入 dataframe 类型。

 from pyspark.sql import DataFrame

 df= sc.parallelize([
 (1,2,3), (4,5,7)]).toDF(["a", "b", "c"])

 if df is not None and isinstance(df,DataFrame):
      #<some operation>
      print("dataframe exists")

- kites

Answer 2

我想你想知道df_name是否被定义并指向一个DataFrame。以上回答都没有处理df_name未设置的情况。以下代码可以解决：

from pyspark.sql import DataFrame

try:
  if df_name is not None and isinstance(df_name,DataFrame):
    print('df_name exists')

except NameError as error:
  print('df_name does not exist and not defined')

- ziad.rida

Answer 3

尝试这个：df_name不为空且是DataFrame类型

- Idan Petel

---

遇到 NameError 错误: 'DataFrame' 未被定义。 - jgtrz

导入这个库：from pyspark.sql import DataFrame - Hardik Gupta