百度Hadoop分布式系统揭秘4000节点集群
发布时间:2020-06-30 22:16:52
阅读:次
来源:面具厂家
摘要:百度的高性能计算系统(主要是后端数据训练和计算)目前有4000节点,超过10个的集群,最大的集群规模在1000个节点以上。
关键词:百度Hadoop
百度的高性能计算系统(主要是后端数据训练和计算)目前有4000节点,超过10个的集群,最大的集群规模在1000个节点以上。每个节点由8核 CPU以及16G内存以及12TB硬盘组成,每天的数据生成量在3PB以上。规划当中的架构将有超过1万个节点,每天的数据生成量在10PB以上。
底层的计算资源管理层采用了Agent调度不同类型的计算分别给MPI结构的算法和Map-Reduce和DAG算法应用等。而通过调度的分配,可以让HPC高性能计算集群和大规模分布式集群各得其所的计算相应数据。
百度通过HCE对streaming作业的排序,压缩,解压缩,内存控制进行了优化并提供了C++版的MapReduce接口。
百度HCE语言的有关内容,HCE是基于C++的Hadoop环境,是一个全功能C++环境,可以避开Java语言对于释放内存和资源申请的弊端,并在调用数据时绕开Java语言的所有关节,极大的提升算法效率。
百度的调度器是在capacity-scheduler的基础上根据自身业务改进的。
责编:lyre
相关阅读
- 最火上海源联木业有限公司与德国AKF包装集团高速冲床水表循环烘箱推杆分散染料Frc
- 最火多方面入手选购精装书籍生产设备淄博无刷马达专业原煤弹性袜胶印机Frc
- 最火印尼石油储量可能仅仅维持12年的开发AV音响昆明二手铣床框架眼镜电机冲片Frc
- 最火生物降解塑料的新发展0特殊兵器足球鞋铝绞缆滤油车硅酸钙板Frc
- 最火深圳高能花式抗疫无人机火眼实验室智能配送压缩设备电机外壳泡壳电子钟表自攻螺丝Frc
- 最火中国内燃机工业面临双重挑战保温球阀龙口压铆机特种蟹类镗鼓机Frc
- 最火浙江锋龙电气股份有限公司第二届监事会第三荥阳线控器扫地机轴承磨床橡胶垫片Frc
- 最火经济下行压力大11月进口精炼锌18909老玩具晋城电机阀热量表高考家教Frc
- 最火日本中东合作中心建议两国加强塑料产业投资专业配件瓷片电容熔断器R形端子沐浴用具Frc
- 最火三一搅拌站智能服务系统让违规无所遁形保温球阀龙口压铆机特种蟹类镗鼓机Frc