【Linux】安装hadoop详细步骤_Code.Knight_linux 安装hadoop

未知 02-07 4407

. 一.安装JDK1.查看安装后的镜像中是否存在Java1.1.卸载OpenJDK 2.安装jdk2.1上传jdk，这里选用的是jdk-8u291版本的，一般jdk版本在1.8以上即可2.2解压文件2.3配置JDK环境变量2.4检验Java是否配置成功二.安装hadoop1.解压Hadoop安装包，并设置环境2.修改配置文件2.1修改 hadoop-env.sh 文件2.2修改 core-site.xml 文件2.3修改 hdfs-site.xml 文件 3.初始化文件系统3.1.初始化名称节点3.2.文件系统初始化成功,启动hdfs3.3启动之后，通过 jps 指令查询所有的java进程3.4访问页面

一.安装JDK

本人的有道原文贴本人的有道原文贴https://note.youdao.com/s/QXu3e5cW

1.查看安装后的镜像中是否存在Java java -version openjdk version "1.8.0_181" OpenJDK Runtime Environment (build 1.8.0_181-b13) OpenJDK 64-Bit Server VM (build 25.181-b13, mixed mode)

如果有并且版本前是OpenJDK的话需要卸载，安装Oracle JDK

1.1.卸载OpenJDK rpm -e --nodeps java-1.8.0-openjdk rpm -e --nodeps javapackages-tools rpm -e --nodeps java-1.8.0-openjdk-headless rpm -e --nodeps tzdata-java 2.安装jdk mkdir -p /export/server //创建jdk的安装目录 2.1上传jdk，这里选用的是jdk-8u291版本的，一般jdk版本在1.8以上即可 yum -y install lrzsz //从Windows上拖动文件到Linux的插件

这里在xshell里先进入jdk的安装目录 /export/server ，再进行文件拖动

2.2解压文件 tar -zxvf jdk-8u291-linux-x64.tar.gz 2.3配置JDK环境变量 vim /etc/profile //文件末尾加上 export JAVA_HOME=/export/server/jdk1.8.0_291 export PATH=$PATH:$JAVA_HOME/bin export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar //更新环境变量的配置文 source /etc/profile 2.4检验Java是否配置成功 java -version //显示以下内容成功 java version "1.8.0_291" Java(TM) SE Runtime Environment (build 1.8.0_291-b10) Java HotSpot(TM) 64-Bit Server VM (build 25.291-b10, mixed mode) 二.安装hadoop

上传Hadoop安装包，同上面上传JDK一样的操作也是放在 /export/server 目录下

1.解压Hadoop安装包，并设置环境 tar -zxvf hadoop-2.7.4.tar.gz //解压 vim /etc/profile //修改环境 //文件末尾加上 export HADOOP_HOME=/export/server/hadoop-2.7.4 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

//更新环境变量的配置文

source /etc/profile

//检查安装，出现下面内容表示成功

hadoop version

Hadoop 2.7.4 Subversion https://shv@git-wip-us.apache.org/repos/asf/hadoop.git -r cd915e1e8d9d0131462a0b7301586c175728a282 Compiled by kshvachk on 2017-08-01T00:29Z Compiled with protoc 2.5.0 From source with checksum 50b0468318b4ce9bd24dc467b7ce1148 This command was run using /export/server/hadoop-2.7.4/share/hadoop/common/hadoop-common-2.7.4.jar

2.修改配置文件 cd /export/server/hadoop-2.7.4/etc/hadoop/ //进入配置文件目录 ll //查看文件 //检查是否有下列配置文件，没有则安装错误 -rw-r--r--. 1 20415 101 4436 8月 1 2017 capacity-scheduler.xml -rw-r--r--. 1 20415 101 1335 8月 1 2017 configuration.xsl -rw-r--r--. 1 20415 101 318 8月 1 2017 container-executor.cfg -rw-r--r--. 1 20415 101 774 8月 1 2017 core-site.xml -rw-r--r--. 1 20415 101 3670 8月 1 2017 hadoop-env.cmd -rw-r--r--. 1 20415 101 4224 8月 1 2017 hadoop-env.sh -rw-r--r--. 1 20415 101 2598 8月 1 2017 hadoop-metrics2.properties -rw-r--r--. 1 20415 101 2490 8月 1 2017 hadoop-metrics.properties -rw-r--r--. 1 20415 101 9683 8月 1 2017 hadoop-policy.xml -rw-r--r--. 1 20415 101 775 8月 1 2017 hdfs-site.xml -rw-r--r--. 1 20415 101 1449 8月 1 2017 httpfs-env.sh -rw-r--r--. 1 20415 101 1657 8月 1 2017 httpfs-log4j.properties -rw-r--r--. 1 20415 101 21 8月 1 2017 httpfs-signature.secret -rw-r--r--. 1 20415 101 620 8月 1 2017 httpfs-site.xml -rw-r--r--. 1 20415 101 3518 8月 1 2017 kms-acls.xml -rw-r--r--. 1 20415 101 1527 8月 1 2017 kms-env.sh -rw-r--r--. 1 20415 101 1631 8月 1 2017 kms-log4j.properties -rw-r--r--. 1 20415 101 5540 8月 1 2017 kms-site.xml -rw-r--r--. 1 20415 101 11237 8月 1 2017 log4j.properties -rw-r--r--. 1 20415 101 951 8月 1 2017 mapred-env.cmd -rw-r--r--. 1 20415 101 1383 8月 1 2017 mapred-env.sh -rw-r--r--. 1 20415 101 4113 8月 1 2017 mapred-queues.xml.template -rw-r--r--. 1 20415 101 758 8月 1 2017 mapred-site.xml.template -rw-r--r--. 1 20415 101 10 8月 1 2017 slaves -rw-r--r--. 1 20415 101 2316 8月 1 2017 ssl-client.xml.example -rw-r--r--. 1 20415 101 2697 8月 1 2017 ssl-server.xml.example -rw-r--r--. 1 20415 101 2250 8月 1 2017 yarn-env.cmd -rw-r--r--. 1 20415 101 4567 8月 1 2017 yarn-env.sh -rw-r--r--. 1 20415 101 690 8月 1 2017 yarn-site.xml 2.1修改 hadoop-env.sh 文件 vim hadoop-env.sh

修改以下位置

2.2修改 core-site.xml 文件

注意：hdfs://hadoop1:9000 hadoop1是主机名，自己安装配置的时候要写自己Linux上的主机名。

hostname //查看自己的主机名 hostnamectl set-hostname 新主机名 //永久修改马上生效（显示时可能不是最新的但其实已经更新了） vim core-site.xml

//加入以下内容，configuration标签不用重复写

<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://hadoop1:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/export/server/hadoop-2.7.4/tmp</value> </property> </configuration> 2.3修改 hdfs-site.xml 文件 vim hdfs-site.xml

//加入以下内容，configuration标签不用重复写

<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration> 3.初始化文件系统 3.1.初始化名称节点 hdfs namenode -format

最后几行中看见红框内容说明成功了

3.2.文件系统初始化成功,启动hdfs start-dfs.sh

这里会有三次确定与三次输入密码，密码时登录Linux的密码

3.3启动之后，通过 jps 指令查询所有的java进程 jps //有以下内容说明启动成功 70164 SecondaryNameNode 69526 NameNode 69883 DataNode 71691 Jps 3.4访问页面

如果你的Linux系统装有图形化界面就打开自带的浏览器输入 http://hadoop1:50070 进行访问会出现下面的界面如果你的Linux系统没有图形化界面，则先放行端口，再去window上访问 http://虚拟机ip:50070 进行访问