本系列课程将基于RedHat Linux 7.4版本、Hadoop 2.7.3、Spark 2 版本全面介绍大数据的整体内容,让学员深入理解并掌握运行机制和原理,从而进一步掌握大数据的相关内容。
具备Java基础学员,并想进一步学习大数据的学员。
在Hadoop2.0之前,namenode只有一个,存在单点问题(虽然hadoop1.0有secondarynamenode, checkpointnode,buckcupnode这些, 但是单点问题依然存在),在hadoop2.0引入了HA机制。hadoop2.0的HA机制官方介绍了有2种方式,一种 是NFS(Network File System)方式, 另外一种是QJM(Quorum Journal Manager)方式。Hadoop2.0的HA 机制有两个namenode,一个是active namenode,状态是active; 另外一个是standby namenode,状态是standby。两者的状态是可以切换的,但不能同时两个都是active 状态,最多只有1个是active状态。 只有active namenode提供对外的服务,standby namenode是不对外服务的。 active namenode和standby namenode之间通过NFS或者JN(journalnode,QJM方式)来同步数据。