并行计算框架概述
1、离线分布式并行计算,主要作用是为上层业务提供大数据的离线分布式并行计算能力。

3、在线实时计算:对于在线计算来说,处理的是线上产生的数据,比如用户计费、用户行为分析,需要低延时高可靠的处理海量数据。

5、基于消息传递的并行计算:对于计算机密集型的业务,基于消息传递的并行计算框架将作业分散到集群的各台机器上,这些机器访问存储区域的共享文件系统,共同完成提交的作业。

7、针对不同业务对实时性需求,合理分配的资源,保证集群的利用率与业务的不同需求。

1、离线分布式并行计算,主要作用是为上层业务提供大数据的离线分布式并行计算能力。
3、在线实时计算:对于在线计算来说,处理的是线上产生的数据,比如用户计费、用户行为分析,需要低延时高可靠的处理海量数据。
5、基于消息传递的并行计算:对于计算机密集型的业务,基于消息传递的并行计算框架将作业分散到集群的各台机器上,这些机器访问存储区域的共享文件系统,共同完成提交的作业。
7、针对不同业务对实时性需求,合理分配的资源,保证集群的利用率与业务的不同需求。