接上文,本文介绍hadoop和spark分布式集群搭建的过程。
在搭建过程中参考了下面这两篇网络文档。
Centos7环境hadoop3.2.0完全分布式集群搭建
Centos7环境Spark2.4.3完全分布式集群的搭建过程
服务器的部署结构下表是两台服务器在整个分布式集群中的角色。
hostnamecentos00centos01IP..9.1..9.2hdfsNameNodeSecondaryNameNodDataNodeDataNodeyarnResourceManagerLogServerNodeManagerNodeManagersparkMasterWorkerWorker以这个表格为目标,接下来就开始一系列的配置。
配置Hostname在两台服务器分别运行如下两条命令,把hostname设置为centos00和centos01
hostnamectlset-hostnamecentos00
hostnamectlset-hostnamecentos01
修改两台服务器的/etc/hosts文件,添加红色的两行,设置IP和hostname间的对应关系。(以便于通过对方的hostname找到IP)
[root
centos00hadoop]#cat/etc/hosts.0.0.1localhostlocalhost.localdomainlocalhost4localhost4.localdomain4
::1localhostlocalhost.localdomainlocalhost6localhost6.localdomain6
..9.1centos00
..9.2centos01
设置ssh无密码登录在centos00上生成密钥
ssh-keygen-trsa
将centos00上的公钥发至centos00和centos01
ssh-copy-idcentos00
ssh-copy-idcentos01
在centos01上做上面同样的两步
最终效果是在centos00上无密钥登陆到centos01
[root
centos00hadoop]#sshcentos01Lastlogin:WedMay:39:fromgateway
[root
centos01~]#在centos00上安装hadoop在前一篇文章中,我们已经把hadoop解压到/root/distributed_