如何评价Eric Xing实验室做的Petuum分布式机器学习平台？

Petuum是一个专门针对机器学习的分布式平台，Spark以数据流应用为主，所以二者的应用对象不同。Spark有一个机器学习库MLLib, 但构建于数据流操作之上，并非针对机器学习算法的特点而设计。

机器学习算法和计算机领域的其他算法相比，有自己的一些独特特点。例如，（1）迭代性：模型的更新并非一次完成，需要循环迭代多次； （2）容错性：即使在每个循环中产生一些错误，模型最终的收敛不受影响；（3）参数收敛的非均匀性：模型中有些参数经过几个循环便不再改变，其他参数需要很长时间收敛。等等。这些特点决定了机器学习系统的设计和其他计算系统的设计有很大不同。

Petuum的系统设计建立于机器学习的特征之上，目前包含两个主要模块：key-value store和scheduler，主要处理两类并行化方法：（1）数据并行；（2）模型并行。数据并行，简单而言，就是把数据分布到不同机器上，每台机器计算一个模型的更新（update ), 然后对这些update进行汇总并用之更新模型。模型并行，把模型参数进行切分并放置到不同机器上，每台机器对自己那部分进行更新。Key-value store模块负责数据并行，采用的架构是parameter server，一致性协议是Staleness Synchronous Parallel (SSP)。SSP的基本思想是允许各机器以不同步调对模型进行更新，但是加一个限制，使得最快的机器的进度和最慢机器的进度之差不要太大。这样做的好处是：既减轻慢的机器拖整个系统的后腿，又能保证模型的最终收敛。通过调节SSP的staleness参数，SSP可以转化成数据流系统常用的BSP（Bulk Synchronous Parallel) 协议或者早期机器学习系统（如Yahoo LDA）使用的ASP(Asynchronous Parallel)。另外一个模块scheduler用于模型并行。scheduler提供的编程接口主要包含三个操作：（1）schedule: 调度节点根据模型参数的相互依赖性和收敛的不均匀性，自动选择一个待更新的参数子集；（2）push: 调度节点令计算节点并行地为选好的参数计算update；（3）pull：调度节点从计算节点收集update，并更新参数。

Petuum的主要特性包括：

（1）高性能。这里有几个例子

更多的结果可参见论文

（2）可编程性。提供了简单易用的编程接口，用户可在Petuum上实现自己的机器学习算法。参见

（3）丰富的机器学习库。我们用Petuum的统一编程接口实现了14个重要的机器学习算法。参见：