pyspark中怎么读取hdfs数据

在pyspark中读取HDFS数据可以通过以下步骤实现：

1. 首先，导入必要的模块：

from pyspark.sql import SparkSession 

2. 创建一个SparkSession对象：

spark = SparkSession.builder \     .appName("Read HDFS Data") \     .getOrCreate() 

3. 使用SparkSession对象的read方法读取HDFS数据：

df = spark.read.csv("hdfs://<namenode>:<port>/path/to/file.csv") 

其中，"hdfs://:/path/to/file.csv"是HDFS文件的路径，需要替换为实际的路径。

4. 可以对读取的数据进行一些操作，比如显示数据的schema和前几行数据：

df.printSchema() df.show() 

5. 最后，记得关闭SparkSession对象：

spark.stop() 

通过以上步骤，就可以在pyspark中读取HDFS数据了。