Mac安装Hadoop(超级无敌宇宙爆炸详细)_Horsleyli_mac安装hadoop

未知 02-07 3289

一、设置ssh免密登录

首先打开mac的系统偏好设置->共享->勾选远程登录

1.打开终端terminal，输入命令：ssh-keygen -t rsa，一直回车即可 2.查看生成的公钥和私钥

cd ~/.ssh ls

会看到~/.ssh目录下有两个文件： ①私钥：id_rsa ②公钥：id_rsa.pub

3.将公钥内容写入到~/.ssh/authorized_keys中

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

4.测试在terminal终端输入ssh localhost

如果出现以下询问输入yes，不需要输入密码就能登录，说明配置成功

Are you sure you want to continue connecting (yes/no/[fingerprint])? yes 二、安装Hadoop

1.使用Homebrew安装Hadoop 没有安装Homebrew的小伙伴在终端执行

/bin/zsh -c "$(curl -fsSL https://gitee.com/cunkai/HomebrewCN/raw/master/Homebrew.sh)"

点击回车，输入开机密码即可安装成功 2.输入brew -v测试一下安装是否成功

安装成功后执行brew install hadoop

显示如下安装成功

3.修改Hadoop配置文件

①.根据上图输出的Hadoop安装路径执行下面代码修改core-site.xml文件，修改hadoop存储元数据的目录，即hadoop.tmp.dir

vim /opt/homebrew/Cellar/hadoop/3.3.1/libexec/etc/hadoop/core-site.xml

在<configuration></configuration>标签内追加以下代码块

注意路径和版本跟随自己刚才下载的hadoop

<property> <name>hadoop.tmp.dir</name> <value>file:/opt/homebrew/Cellar/hadoop/3.3.1/libexec/tmp</value> </property> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:8020</value> </property>

②.修改hdfs-site.xml文件修改hadoop副本数量，即dfs.replication 修改hdfs系统存放fsimage文件的目录，即dfs.namenode.name.dir 修改hdfs系统存放数据文件的目录，即dfs.datanode.data.dir（作用是存放hadoop的数据节点datanode里的多个数据块）

vim /opt/homebrew/Cellar/hadoop/3.3.1/libexec/etc/hadoop/hdfs-site.xml

在<configuration></configuration>标签内追加代码块

<property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/opt/homebrew/Cellar/hadoop/3.3.1/libexec/tmp/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/opt/homebrew/Cellar/hadoop/3.3.1/libexec/tmp/dfs/data</value> </property>

4.修改Hadoop环境变量

执行vim ~/.bash_profile，追加以下内容（路径跟随自己安装的路径变化）

export HADOOP_HOME=/opt/homebrew/Cellar/hadoop/3.3.1/libexec export HADOOP_COMMON_HOME=$HADOOP_HOME export PATH=$JAVA_HOME/bin:$PATH:$HADOOP_HOME/bin:/opt/homebrew/Cellar/scala/bin

执行source ~/.bash_profile，刷新环境变量

三、运行Hadoop自带的示例文件WordCount

1.初始化namenode节点

首先执行cd /opt/homebrew/Cellar/hadoop/3.3.1/bin

进入到hadoop的bin目录下执行./hdfs namenode -format 2.启动hadoop

执行cd /opt/homebrew/Cellar/hadoop/3.3.1/sbin

进入到hadoop的sbin目录下执行./start-dfs.sh

然后执行jps查看是否启动成功

namenode、secondarynamenode、datanode启动成功在浏览器输入http://localhost:9870/dfshealth.html#tab-overview也能查看 3.修改yarn配置文件mapred-site.xml

执行

vim /opt/homebrew/Cellar/hadoop/3.3.1/libexec/etc/hadoop/mapred-site.xml

在<configuration></configuration>标签内追加以下内容

<property> <name>mapreduce.framework.name</name> <value>yarn</value> </property>

4.修改yarn配置文件yarn-site.xml

执行

vim /opt/homebrew/Cellar/hadoop/3.3.1/libexec/etc/hadoop/yarn-site.xml

在<configuration></configuration>标签内追加以下内容，以为是伪分布式，所以yarn.resourcemanager.hostname设置为localhost

<property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.env-whitelist</name> <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value> </property> <property> <name>yarn.resourcemanager.hostname</name> <value>localhost</value> </property> <property> <name>yarn.nodemanager.resource.memory-mb</name> <value>20480</value> </property> <property> <name>yarn.scheduler.minimum-allocation-mb</name> <value>2048</value> </property> <property> <name>yarn.nodemanager.vmem-pmem-ratio</name> <value>2.1</value> </property>

5.启动yarn

执行cd /opt/homebrew/Cellar/hadoop/3.3.1/sbin

进入到hadoop的sbin目录下，执行./start-yarn.sh

浏览器输入http://localhost:8088/cluster

6.运行wordcount文件

①使用hdfs创建/input文件夹以及测试输入文件

hadoop fs -mkdir /input

输入hadoop fs -ls /查看刚才创建的input文件夹是否成功，如果成功会看到输出input文件夹的信息（读写权限、组等）

mkdir /usr/local/hadoopTest

这里告诉我没有权限，切换到root用户

mac切换到root用户密码不对首先执行sudo su，然后输入当前用户的密码左边变成了sh-x.x（我的是sh-3.2）然后执行passwd root，修改密码

进入到/usr/local/hadoopTest下执行touch test.txt，然后vim test.txt，随便输入测试语句，例如输入Hello World!，保存退出