centos7下搭建hadoop、hbase、hive、spark分布式系统架构

全栈工程师开发手册 （作者：栾鹏）
架构系列文章

---

如果想了解架构原理，可以参考：https://blog.csdn.net/luanpeng825485697/article/details/80319552

---

在使用前建议先将当前用户设置为root用户。参考https://blog.csdn.net/luanpeng825485697/article/details/80278383中修改用户权限的第三种方法。有了权限就会方便操作。

在根目录下创建文件夹/lp/hadoop，用来在这里面存放hadoop生态环境

---

分布式hadoop部署

首先，在http://hadoop.apache.org/releases.html找到最新稳定版tar包，我选择的是hadoop-2.7.3.tar.gz

下载解压到/lp/hadoop/hadoop-2.7.3

hdfs的架构：hdfs部分由NameNode、SecondaryNameNode和DataNode组成。DataNode是真正的在每个存储节点上管理数据的模块，NameNode是对全局数据的名字信息做管理的模块&#x