当前位置:   article > 正文

Pyspark 学习 demo(1)_pyspark dataframe w3school

pyspark dataframe w3school

##学习完W3school中python基本后步入pyspark正式学习
DF学习
(DataFrame是一种以RDD为基础的分布式数据集,类似于传统数据库中的二维表格。DataFrame与RDD的主要区别在于,前者带有schema元信息)

在这里插入图片描述
自信满满 python XXX.py 报错 :ImportError: No module named pyspark 无法启动
遂更改为:spark-submit xxx.py ,日志报错。

将python脚本通过sh命令启动:在这里插入图片描述

保存启动 sh文件。
在这里插入图片描述
yarn中查看demo完成。

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/木道寻08/article/detail/955448
推荐阅读
相关标签
  

闽ICP备14008679号