spark怎么写入hdfs文件

avatar
作者
筋斗云
阅读量:2

要将数据写入HDFS文件系统,可以使用Apache Spark中的saveAsTextFile()或saveAsObjectFile()方法。以下是一个示例:

import org.apache.spark.SparkContext import org.apache.spark.SparkConf  object WriteToHDFS {   def main(args: Array[String]): Unit = {     val conf = new SparkConf().setAppName("WriteToHDFS").setMaster("local")     val sc = new SparkContext(conf)      val data = List(1, 2, 3, 4, 5)     val rdd = sc.parallelize(data)      // 将RDD写入HDFS文件     rdd.saveAsTextFile("hdfs:///path/to/file")      // 可以使用saveAsObjectFile()方法将RDD保存为对象文件     // rdd.saveAsObjectFile("hdfs:///path/to/file")      sc.stop()   } } 

请确保替换/path/to/file为实际的HDFS文件系统URI和路径。同时,确保您的Spark应用程序有权限访问HDFS文件系统。

    广告一刻

    为您即时展示最新活动产品广告消息,让您随时掌握产品活动新动态!