Apache Spark是一个高效的通用的集群计算系统，Spark和Scala能够紧密集成，它提供高层级的Java、Scala和Python接口，和优化的通用图计算引擎。同时支持丰富的高级工具集，如处理SQL和结构化数据的Spark SQL、机器学习MLlib、图处理的GraphX和Spark Streaming。比内存中的HadoopMapReduce快10倍，比硬盘上的HadoopMapReduce快100倍。