阅读量:0
内存计算:Spark将数据存储在内存中,减少了磁盘IO操作,提高了计算性能。
运行模式:Spark使用了DAG(有向无环图)执行引擎,可以优化任务执行顺序,减少不必要的数据传输和计算开销。
数据共享:Spark支持内存共享数据集,可以在不同任务之间共享数据,减少数据重复读取的开销。
运行方式:Spark采用了延迟执行(Lazy Evaluation)的方式,只有在需要结果时才执行计算,可以在一定程度上减少计算开销。
数据处理方式:Spark提供了更丰富的数据处理方式,例如RDD、DataFrame和DataSet等,可以根据不同的需求选择合适的数据处理方式,提高计算效率。