一、基础环境的安装与配置

1.集群的规划：

主要包括NameNode、ResourceManager、NodeManager、SecondaryNameNode、DataNode这些角色与机器的划分，如下图

2.主机名修改

vim /etc/hostname

分别修改为：node1.itcast.cn、node2.itcast.cn、node3.itcast.cn

3.hosts映射

vim /etc/hosts 192.168.88.151 node1.itcast.cn node1 192.168.88.152 node2.itcast.cn node2 192.168.88.153 node3.itcast.cn node3

4.防火墙关闭

firewall-cmd --state #查看防火墙状态 systemctl stop firewalld.service #停止firewalld服务 systemctl disable firewalld.service #开机禁用firewalld服务

5.ssh免密登录：只需要在node1配置

#node1生成公钥私钥 (一路回车) ssh-keygen #node1配置免密登录到node1 node2 node3 ssh-copy-id node1 ssh-copy-id node2 ssh-copy-id node3

6.集群时间同步（三台机器一起）

yum -y install ntpdate ntpdate ntp5.aliyun.com

7.创建统一工作目录

mkdir -p /export/server/ #软件安装路径 mkdir -p /export/data/ #数据存储路径 mkdir -p /export/software #安装包存放路径

8.安装JDK1.8（三台机器）

三台机器同时上传 jdk-8u241-linux-x64.tar.gz到/export/server/目录下

cd /export/server/ tar zxvf jdk-8u241-linux-x64.tar.gz

配置环境变量：

vim /etc/profile #使用vim快捷键 G o：直接在最后一行下方进行编辑 export JAVA_HOME=/export/server/jdk1.8.0_241 export PATH=$PATH:$JAVA_HOME/bin export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar #shift+zz快捷保存退出 #使用scp命令复制配置文件 scp -r /etc/profile root@node2:/etc scp -r /etc/profile root@node3:/etc #重新加载环境变量文件 source /etc/profile #检查jdk版本验证是否安装成功 java -version

二、Hadoop的安装

1.在node1上传、解压hadoop安装包

本次使用的版本是：hadoop-3.3.0-Centos7-64-with-snappy.tar.gz

cd /export/server tar zxvf hadoop-3.3.0-Centos7-64-with-snappy.tar.gz

2.查看Hadoop安装包目录结构：

三、修改Hadoop配置文件

主要修改内容包括：

1.修改hadoop-env.sh配置文件：?

cd etc/hadoop/ vi hadoop-env.sh #文件最后添加G o快捷键 export JAVA_HOME=/export/server/jdk1.8.0_241 export HDFS_NAMENODE_USER=root export HDFS_DATANODE_USER=root export HDFS_SECONDARYNAMENODE_USER=root export YARN_RESOURCEMANAGER_USER=root export YARN_NODEMANAGER_USER=root

2.配置core-site.xml文件：

<!-- 设置默认使用的文件系统 Hadoop支持file、HDFS、GFS、ali|Amazon云等文件系统 --> <property> <name>fs.defaultFS</name> <value>hdfs://node1:8020</value> </property> <!-- 设置Hadoop本地保存数据路径 --> <property> <name>hadoop.tmp.dir</name> <value>/export/data/hadoop-3.3.0</value> </property> <!-- 设置HDFS web UI用户身份 --> <property> <name>hadoop.http.staticuser.user</name> <value>root</value> </property> <!-- 整合hive 用户代理设置 --> <property> <name>hadoop.proxyuser.root.hosts</name> <value>*</value> </property> <property> <name>hadoop.proxyuser.root.groups</name> <value>*</value> </property> <!-- 文件系统垃圾桶保存时间 --> <property> <name>fs.trash.interval</name> <value>1440</value> </property>

3.配置hdfs-site.xml文件：

<!-- 设置SNN进程运行机器位置信息 --> <property> <name>dfs.namenode.secondary.http-address</name> <value>node2:9868</value> </property>

4.配置mapred-site.xml文件：

<!-- 设置MR程序默认运行模式： yarn集群模式 local本地模式 --> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <!-- MR程序历史服务地址 --> <property> <name>mapreduce.jobhistory.address</name> <value>node1:10020</value> </property> <!-- MR程序历史服务器web端地址 --> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>node1:19888</value> </property> <property> <name>yarn.app.mapreduce.am.env</name> <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value> </property> <property> <name>mapreduce.map.env</name> <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value> </property> <property> <name>mapreduce.reduce.env</name> <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value> </property>

5.配置yarn-site.xml文件：

<!-- 设置YARN集群主角色运行机器位置 --> <property> <name>yarn.resourcemanager.hostname</name> <value>node1</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <!-- 是否将对容器实施物理内存限制 --> <property> <name>yarn.nodemanager.pmem-check-enabled</name> <value>false</value> </property> <!-- 是否将对容器实施虚拟内存限制。 --> <property> <name>yarn.nodemanager.vmem-check-enabled</name> <value>false</value> </property> <!-- 开启日志聚集 --> <property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property> <!-- 设置yarn历史服务器地址 --> <property> <name>yarn.log.server.url</name> <value>http://node1:19888/jobhistory/logs</value> </property> <!-- 历史日志保存的时间 7天 --> <property> <name>yarn.log-aggregation.retain-seconds</name> <value>604800</value> </property>

6.配置workers

vi workers #dd删除原有信息，输入以下从节点信息，快捷键i进入编辑 node1.itcast.cn node2.itcast.cn node3.itcast.cn

7.同步Hadoop安装包至node2及node3

cd /export/server # $PWD代表当前路径 scp -r hadoop-3.3.0/ root@node2:$PWD scp -r hadoop-3.3.0/ root@node3:$PWD

8.将Hadoop添加到环境变量（3台机器）

vim /etc/profile #使用快捷键G o编辑 export HADOOP_HOME=/export/server/hadoop-3.3.0 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin #shit+zz退出，scp到另外两台机器 scp /etc/profile root@node2:/etc scp /etc/profile root@node3:/etc #在统一发送命令行中，重新加载配置文件 source /etc/profile

9.验证Hadoop是否正常安装

#在统一发送命令行输入hadoop hadoop

三台机器都出现以上信息，表示hadoop已经在三台机器上面都成功安装。

---

1.本站遵循行业规范，任何转载的稿件都会明确标注作者和来源；2.本站的原创文章，会注明原创字样,如未注明都非原创，如有侵权请联系删除！；3.作者投稿可能会经我们编辑修改或补充；4.本站不提供任何储存功能只提供收集或者投稿人的网盘链接。