第一届全国大数据与人工智能科学大会

2018年 7月5日 ~ 7日

P000103

基于图计算的高性能大数据分析系统 Gemini  

*文光 陈 (清华大学)


现有大数据分析系统,如MapReduce和Spark,主要以编程的简易性、可扩展性和容错能力为设计原则,牺牲了平台的处理性能。我们将讨论容错与性能的关系,指出性能与容错并非是相互排斥的设计理念,并介绍高性能分布式图计算系统的实例Gemini。Gemini在图的划分方法、数据结构、局部性优化、细粒度负载平衡和通信与计算重叠方面提出了一系列优化技术。在典型的图处理应用中,该系统需要的内存是约为GraphX的十分之一,性能是Spark GraphX的100倍以上。


Supported by SmartChair

Math formula preview: