明党参

首页 » 常识 » 常识 » 在CentOS79上搭建基于Hado
TUhjnbcbe - 2021/7/10 5:43:00
青少年白癜风如何治疗 https://baike.baidu.com/item/%e9%9d%92%e5%b0%91%e5%b9%b4%e7%99%bd%e7%99%9c%e9%a3%8e%e9%98%b2%e6%b2%bb%e6%8f%b4%e5%8a%a9%e9%a1%b9%e7%9b%ae/22039760?fr=aladdin

接上文,本文介绍hadoop和spark分布式集群搭建的过程。

在搭建过程中参考了下面这两篇网络文档。

Centos7环境hadoop3.2.0完全分布式集群搭建

Centos7环境Spark2.4.3完全分布式集群的搭建过程

服务器的部署结构

下表是两台服务器在整个分布式集群中的角色。

hostnamecentos00centos01IP..9.1..9.2hdfsNameNodeSecondaryNameNodDataNodeDataNodeyarnResourceManagerLogServerNodeManagerNodeManagersparkMasterWorkerWorker

以这个表格为目标,接下来就开始一系列的配置。

配置Hostname

在两台服务器分别运行如下两条命令,把hostname设置为centos00和centos01

hostnamectlset-hostnamecentos00

hostnamectlset-hostnamecentos01

修改两台服务器的/etc/hosts文件,添加红色的两行,设置IP和hostname间的对应关系。(以便于通过对方的hostname找到IP)

[root

centos00hadoop]#cat/etc/hosts

.0.0.1localhostlocalhost.localdomainlocalhost4localhost4.localdomain4

::1localhostlocalhost.localdomainlocalhost6localhost6.localdomain6

..9.1centos00

..9.2centos01

设置ssh无密码登录

在centos00上生成密钥

ssh-keygen-trsa

将centos00上的公钥发至centos00和centos01

ssh-copy-idcentos00

ssh-copy-idcentos01

在centos01上做上面同样的两步

最终效果是在centos00上无密钥登陆到centos01

[root

centos00hadoop]#sshcentos01

Lastlogin:WedMay:39:fromgateway

[root

centos01~]#

在centos00上安装hadoop

在前一篇文章中,我们已经把hadoop解压到/root/distributed_

1
查看完整版本: 在CentOS79上搭建基于Hado