首页 > 资讯 > > 内容页

Dpark

来源:互联网2023-03-01 09:03:38


(资料图片仅供参考)

有 关于Dpark方面的知识,小编在此整里出来,给大家作为参考,下面就详细的介绍一下关于Dpark的相关内容。

1、 DPark 是一个类似MapReduce 的基于Mesos(Apache 下的一个集群管理器,提供了有效的、跨分布式应用或框架的资源隔离和共享等功能)的集群并行计算框架(Cluster Computing Framework),DPark 是Spark 的Python克隆版本,是一个Python 实现的分布式计算框架,可以非常方便地实现大规模数据处理和低延时的迭代计算。

2、该计算框架类似于MapReduce,但是比其更灵活,可以用Python 非常方便地进行分布式计算,并且提供了更多的功能,以便更好地进行迭代式计算。

3、DPark 由国内的豆瓣公司开发实现和负责维护,据豆瓣公司的描述,目前豆瓣公司内部的绝大多数数据分析都使用DPark 完成,整个项目也正趋于完善。

x 广告
猜你喜欢