*文光 陈 (清华大学)
现有大数据分析系统,如MapReduce和Spark,主要以编程的简易性、可扩展性和容错能力为设计原则,牺牲了平台的处理性能。我们将讨论容错与性能的关系,指出性能与容错并非是相互排斥的设计理念,并介绍高性能分布式图计算系统的实例Gemini。Gemini在图的划分方法、数据结构、局部性优化、细粒度负载平衡和通信与计算重叠方面提出了一系列优化技术。在典型的图处理应用中,该系统需要的内存是约为GraphX的十分之一,性能是Spark GraphX的100倍以上。
Math formula preview: