信息系统项目管理师综合知识真题考点：Hadoop组成

Hadoop概念：

狭义Hadoop：指的是HDFS、YARN、MAPREDUCE三大组件。

广义Hadoop：指的是hadoop一系列的生态圈

1、Hadoop Distributed File System (HDFS)：是一个分布式文件系统。HDFS的文件会被分为很多的Block分散存储在不同机器上。[为海量的数据提供了存储]

(1)NameNode(nn)：存储文件的元数据，如文件名，文件目录结构，文件属性(生成时间、副本数、文件权限)，以及每个文件的块列表和块所在的DataNode等。

(2)DataNode(dn)：在本地文件系统存储文件块数据，以及块数据的校验和。

(3)Secondary NameNode(2nn)：每隔一段时间对NameNode元数据备份。

2、Yet Another Resource Negotiator(YARN)：是一种通用的资源管理系统和调度平台。[另一种资源协调者，是Hadoop的资源管理器]

ResourceManager(RM)：整个集群资源(内存、CPU等)的管理者

NodeManager(NM)：单个节点服务器资源的管理者。

ApplicationMaster(AM)：单个任务运行的管理者。

Container：容器，相当于一台独立的服务器，里面封装了任务运行所需要的资源，如内存、CPU、磁盘、网络等。

3、MapReduce：本身就是用于并行处理大数据集的软件框架。将计算过程分为两个阶段：Map 和Reduce。[为海量的数据提供了计算]

(1)Map 阶段并行处理输入数据

(2)Reduce 阶段对Map 结果进行汇总

考点相关真题

相关阅读：信息系统项目管理师综合知识真题考点汇总