阅读量:1
高速性:Spark 是一个基于内存计算的分布式计算框架,可以比传统的 MapReduce 作业快上几个数量级,因为它可以在内存中进行数据处理,减少了磁盘读写的开销。
易用性:Spark 提供了丰富的 API,支持多种语言(如 Scala、Java、Python 和 R),并且提供了丰富的高级功能(如 SQL 查询、机器学习和图计算),使得用户可以轻松地开发复杂的分布式应用程序。
弹性:Spark 提供了弹性的分布式数据集(Resilient Distributed Dataset, RDD)抽象,可以在内存中缓存数据,容错性强,可以在节点故障时自动恢复数据,保证作业的稳定执行。
通用性:Spark 不仅支持批处理作业(如 MapReduce),还支持交互式查询、流处理和机器学习等多种应用场景,因此可以满足不同领域的需求。