当前位置:   article > 正文

pysaprk读取csv文件时指定schema,读取数据全部为null。_pyspark读取csv为dataframe全为空值

pyspark读取csv为dataframe全为空值

指定数据schema,代码如下:

  1. from pyspark.sql.types import *
  2. # 指定DataFrame每个列的模式
  3. schema = StructType([
  4. StructField('id', LongType(),True),
  5. StructField('电站',StringType(),True),
  6. StructField("跟踪器",StringType(),True),
  7. StructField("时间",StringType(),True),
  8. StructField("工作模式", LongType(),True),
  9. StructField("太阳高度角", DoubleType(),True),
  10. StructField("太阳方位角", DoubleType(),True),
  11. StructField("高度角1", DoubleType(),True),
  12. StructField("方位角1", DoubleType(),True),
  13. StructField("高度角2", DoubleType(),True),
  14. StructField("方位角2", DoubleType(),True),
  15. StructField("高度角3", DoubleType(),True),
  16. StructField("方位角3", DoubleType(),True),
  17. StructField("电机1电流", LongType(),True),
  18. StructField("电机2电流", LongType(),True),
  19. StructField("电机3电流", LongType(),True),
  20. StructField(
声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/笔触狂放9/article/detail/277986
推荐阅读
相关标签
  

闽ICP备14008679号