虚拟机实现Hive与MySQL的安装_hive虚拟机_仄言2997

未知 02-07 3898

MySQL安装

在master节点上：?

1、下载mysql8.x的yum源

如果没有wget方法的话要先下载wget方法

命令：下载wget的命令： yum install -y wget

??wget?http://repo.mysql.com//mysql80-community-release-el7-3.noarch.rpm

2、加载下载的mysqlyum源

命令：yum localinstall mysql80-community-release-el7-3.noarch.rpm

3、搜索mysql源是否加载

命令：yum search mysql

4、选择mysql-community-server.x86_64进行下载

命令： yum install mysql-community-server.x86_64

?执行命令配置秘钥然后再下载

命令：rpm --import https://repo.mysql.com/RPM-GPG-KEY-mysql-2022

5、启动mysql服务，查询初始密码

启动：

命令：service mysqld start

命令：chkconfig mysqld on

查询密码：

命令：cat /var/log/mysqld.log

6、登录

mysql -u root -p

第一次强行修改密码规则：

ALTER USER 'root'@'localhost' IDENTIFIED BY 'adD23+#M';

set global validate_password.policy=0;

set global validate_password.length=1;

设置自定义密码：

alter user 'root'@'localhost' identified by '123456';

7、修改root账户权限

use mysql;

show tables;

select host,user from user;

?update user set host='%' where user='root';

flush privileges;

Hive的安装 1、上传与解压Hive

把安装包上传到 /opt 目录下，解压安装包到 /usr/local/ 目录下

tar -zxf ?/opt/apache-hive-2.3.8-bin.tar.gz ?-C ?/usr/local/

为了方便输入，我还将文件夹重新进行了命名：（cd? /usr/local）

mv apache-hive-2.3.8-bin? hive

2、配置hive-env.sh

在/usr/local/hive/conf? 目录下? ，修改文件hive-env.sh（hive-env.sh.template）

?cd /usr/local/hive/conf

（修改名字）

mv hive-env.sh.template hive-env.sh

vi hive-env.sh

在文件末尾添加（注：根据自己Hadoop的位置进行修改）：

export HADOOP_HOME=/opt/hadoop-3.1.4

?3、安装Hive

（1）把hive-site.xml文件上传到Hive安装目录的conf目录下（hive-site.xml文件是hive的配置文件，可以在windows下面自己写一个文本文件然后修改后缀就可以了，然后再将它上传到hive的conf目录下面。）

cd /usr/local/hive/conf

vi hive-site.xml

hive-site.xml的内容：

<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <name>hive.exec.scratchdir</name> <value>hdfs://master:8020/user/hive/tmp</value> </property> <property> <name>hive.metastore.warehouse.dir</name> <value>hdfs://master:8020/user/hive/warehouse</value> </property> <property> <name>hive.querylog.location</name> <value>hdfs://master:8020/user/hive/log</value> </property> <property> <name>hive.metastore.uris</name> <value>thrift://master:9083</value> </property> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true&characterEncoding=UTF-8&useSSL=false&allowPublicKeyRetrieval=true</value> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.cj.jdbc.Driver</value> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>root</value> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>123456</value> </property> <property> <name>hive.metastore.schema.verification</name> <value>false</value> </property> <property> <name>datanucleus.schema.autoCreateAll</name> <value>true</value> </property> </configuration>

（2）上传MySQL驱动到Hive安装目录的lib目录下（下载驱动器的网址：MySQL :: Download MySQL Connector/J (Archived Versions)）

?（3）替换Hive的guava包

（因为hive中的guava版本与Hadoop中的版本不一样，会导致包冲突，所以用Hadoop中的guava-27.0-jre.jar覆盖掉hive中的guava-14.0.1.jar。）

rm -rf /usr/local/hive/lib/guava-14.0.1.jar

cp? /opt/hadoop-3.1.4/share/hadoop/common/lib/guava-27.0-jre.jar? /usr/local/

（4）在 /etc/profile 文件中添加Hive的环境变量

export HIVE_HOME=/usr/local/hive

export PATH=$PATH:$HADOOP_HOME/bin:$HIVE_HOME/bin

（5）使用Apache的工具schematool初始化metastore

schematool -dbType mysql -initSchema

注：在初始化时如果出现了问题

打开 hive-site.xml，改写此段代码

? ? <property> ? ? ? <name>javax.jdo.option.ConnectionURL</name> ? ? ? <value>jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true&characterEncoding=UTF-8&useSSL=false&allowPublicKeyRetrieval=true&serverTimezone=Europe/Berlin</value> ? ? </property>

6. 启动元数据服务：

hive --service metastore &

启动hadoop

cd到sbin文件夹 (/opt/hadoop-3.1.4/sbin)，注意启动顺序：

[root@master sbin]# ./start-dfs.sh

[root@master sbin]# ./start-yarn.sh

[root@master sbin]# ./mr-jobhistory-daemon.sh start historyserver 或者 ?mapred --daemon start historyserver

启动hive