spark快速大数据分析之学习记录（三）_将spark软件包里的readme.md文件中的所有“长度超过12”的单词挑选出来,将其转换

作者：正经夜光杯 | 2024-08-18 23:39:49

踩

将spark软件包里的readme.md文件中的所有“长度超过12”的单词挑选出来,将其转换

题外话：这是一个“连载”，主要用于记录并监督我每周的Spark学习进程

一、编写第一个pyspark程序

1.进入spark文件夹，该文件夹下有一个README.md文件，统计该文件的行数，以及输出第一行

2.运行spark

shell命令：

./bin/pyspark #运行spark

运行截图：

3.运行python语句

shell命令：


>>>lines=sc.textFile("README.md")
>>>lines.count()
>>>lines.first()

运行截图：

二、遇到的问题

【问题】lines.count()报错

本文内容由网友自发贡献，转载请注明出处：【wpsshop博客】