域名综合信息查询...
  • 综合
  • Whois
×
历史记录
首页 > 常见问题 > 正文

什么是hadoop?

发布时间:2023-06-08 14:43:49 来源:互联网 作者:h 点击量:1686

  所谓Hadoop其实就是Apache开发的分布式系统基础架构,主要解决海量数据存储与计算的问题,是大数据技术中的基石。Hadoop以一种可靠、高效、可伸缩的方式进行数据处理,主要特点如下:

  1、海量数据存储

  HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(High throughput)来访问数据,适合那些有着超大数据集(large data set)的应用程序,它由n台运行着DataNode的机器组成和1台(另外一个standby)运行NameNode进程一起构成。每个DataNode 管理一部分数据,然后NameNode负责管理整个HDFS 集群的信息(存储元数据)。

  2、资源管理,调度和分配

  Apache Hadoop YARN(Yet Another Resource Negotiator,另一种资源协调者)是一种新的 Hadoop 资源管理器,它是一个通用资源管理系统和调度平台,可为上层应用提供统 一的资源管理和调度,它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。

  3、并行数据处理

  MapReduce算法要求你可以并行化你的数据处理。MapReduce在变量逐个处理的情况下工作得很好(例如,计数或聚合);但是,当您需要共同处理变量(例如,变量之间有许多相关性)时,此模型不起作用。

  任何基于图形的数据处理(意味着依赖于其他数据的复杂数据网络)都不适合Hadoop的标准方法。话虽如此,相关的Apache Tez框架确实允许使用基于图形的方法来处理数据,而不是更线性的MapReduce工作流程。

  以上就是什么是hadoop?的内容。

域名注册价格:https://www.juming.com/regym.htm?t=seo_adzcw
域名一口价交易:https://www.juming.com/ykj/?t=seo_admm
过期域名查询:https://www.juming.com/gq/?t=seo_adqz
声明:本网站发布的内容(图片、视频和文字)以原创、转载和分享网络内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。文章观点不代表本网站立场,如需处理请联系客服。电话:400-997-2996;邮箱:service@Juming.com。本站原创内容未经允许不得转载,或转载时需注明出处:聚名网 什么是hadoop?
关键词: hadoop
常见问题相关文章

登录聚名,您可以享受以下权益:

立即登录/注册