Hive环境搭建（保姆级教程）_JJustRight_hive环境搭建

网络 02-07 2154

目录一、Hive简介二、 Hive环境安装1. 准备工作1）安装Hadoop2）安装MariaDB（1）查看MariaDB安装情况（2）卸载MariaDB/MySQL（3）安装MariaDB（4）简单配置MariaDB（5）常见问题及解决 2. Hive安装1) 下载Hive安装包2）安装Hive3）上传MySQL驱动4）修改配置文件5）元数据初始化（1）数据库对账号授权（2）初始化元数据 3. 测试环境1）启动hdfs和yarn2）CLI命令窗口3）beeline客户端（1）启动HS2服务（2）启动beeline

一、Hive简介

Hive由 Facebook 开源用于解决海量结构化日志的数据统计工具。 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行。

当然，SQL语句也可以转换成Tez或Spark。

为什么需要Hive?

减低学习MapReduce的成本，使DBA、运维人员可以通过SQL来实现开源，可以节约成本可以处理大数据

Hive架构体系

Driver组件

解析器（SQL Parser）：将 SQL 字符串转换成抽象语法树 AST，这一步一般都用第三方工具库完成，比如 antlr；对 AST 进行语法分析，比如表是否存在、字段是否存在、SQL语义是否有误。

编译器（Physical Plan）：将 AST 编译生成逻辑执行计划。

优化器（Query Optimizer）：对逻辑执行计划进行优化。

执行器（Execution）：把逻辑执行计划转换成可以运行的物理计划。对于 Hive 来

说，就是 MR/Spark/Tez。

MetaStore组件

MetaStore组件存储着hive的元数据信息，将自己的元数据存储到了关系型数据库当中，支持的数据库主要有：Mysql、Derby, 支持把metastore独立出来放在远程的集群上面，使得hive更加健壮。元数据主要包括了表的名称、表所属的数据库（默认是 default）、表的拥有者、表的列、分区及其属性、表的属性（是不是外部表等等）、表的数据所在的目录等

用户接口

CLI，即Command Line Interface，即命令交互工具。这样，我们就可以通过命令来与操作Hive。HiveServer2，当启动了这个服务之后，我们就可以通过开发程序来操作Hive。比如通过Java程序，调用Hive JDBC Driver来对数据库增删改查，这个就像平常操作关系数据库一样方便。Hive Web Interface，这个是一个Web版本的操作界面。但它在新版本中已经废弃。可用HUE来代替。二、 Hive环境安装

Hive的三种部署模式，主要按Metastore 的运行模式进行区分。

本文主要以Local模式进行演示，关系数据库将选用Mysql的一个分支版MariaDB。

1. 准备工作 1）安装Hadoop

本文以Hadoop2.7.7为例，可以参考教程：https://blog.csdn.net/tangyi2008/article/details/121908766

安装好Hadoop后，需要添加用户的代理配置：

vi $HADOOP_HOME/etc/hadoop/core-site.xml

添加如下配置项

<property> <name>hadoop.proxyuser.xiaobai.hosts</name> <value>*</value> </property> <property> <name>hadoop.proxyuser.xiaobai.groups</name> <value>*</value> </property> 2）安装MariaDB

MariaDB数据库是MySQL的一个分支，由MySQL的创始人Michael Widenius（英语：Michael Widenius）主导开发。开发该分支的原因之一是：甲骨文公司收购了MySQL后，有将MySQL闭源的潜在风险，因此社区采用分支的方式来避开这个风险。

MariaDB名称来自Michael Widenius的女儿Maria的名字。

（1）查看MariaDB安装情况

使用如下命令查看MariaDB的安装情况

sudo dpkg -l | grep maria

如果没有打印任何内容，说明没有安装，否则，可根据需要决定是否需要卸载后重新安装

（2）卸载MariaDB/MySQL

如果你想卸载掉以前安装的mariadb或者mysql，可以使用如下命令

sudo apt autoremove mysql-\*

如果确定安装的是maria,可以使用如下命令卸载

sudo apt autoremove mariadb-* （3）安装MariaDB

可以使用如下命令进行便捷的安装，它会在你默认的源中安装

sudo apt update sudo apt install mariadb-server

注意：可以在https://downloads.mariadb.org/mariadb/repositories/中去设定自己的操作系统及版本、需要安装的 MariaDB 版本、符合自己国家区域的仓库，以便更快速准确的安装所需要的版本。

当设置好操作系统（18.04LTS）、MariaDB版本(10.6)和仓库（Alibaba Cloud）时，网页上会给出添加仓库的命令和安装的命令

添加Repository的命令

sudo apt-get install software-properties-common dirmngr apt-transport-https sudo apt-key adv --fetch-keys 'https://mariadb.org/mariadb_release_signing_key.asc' sudo add-apt-repository 'deb [arch=amd64,arm64,ppc64el] https://mirrors.aliyun.com/mariadb/repo/10.6/ubuntu bionic main'

更新源并安装MariaDB的命令

sudo apt update sudo apt install mariadb-server

完成安装，使用下面的命令检查MariaDB服务状态

sudo systemctl status mariadb

当看到如下界面，恭喜你，安装成功！！！

（4）简单配置MariaDB

使用如下命令进行基本的配置：

sudo mysql_secure_installation

执行命令后，终端会有如下问题需要设定：

1.Enter current password for root (enter for none): (预设的MariaDB没有密码，直接Enter即可) 2.Switch to unix_socket authentication [Y/n] n (是否切换unix_socket安全认证，这里输入的n,即不切换) 3.Change the root password? [Y/n] y (是否修改root账户的密码，输入的y,即会修改root密码注意： - root密码最好是复杂密码，否则可能会每次连接MariaDB时需要加sudo - 在设置密码时，输入密码时是不会跳光标的 - 本文将密码设置成abc@@123 ) 4.Remove anonymous users? [Y/n] y (是否删除匿名用户，这里输入的是y，即删除匿名用户默认情况下，MariaDB安装有匿名用户，允许任何人登录MariaDB而无需为其创建帐户，在生产环境中一定要删除） 5.Disallow root login remotely? [Y/n] y (是否允许远程登录root账户，否则只能在localhost上登录root账户，这里输入的y,即不允许远程登录root账户) 6.Remove test database and access to it? [Y/n] y (是否删除test数据库，这里输入的y，即删除test数据库默认情况下，MariaDB有一个test数据库，允许任何用户获取 ) 7.Reload privilege tables now? [Y/n] y (是否重新加载权限表，这里输入的y,即立即重新加载) （5）常见问题及解决连接 MariaDB 需要sudo的问题（mysql有类似问题）

问题描述：在Ubuntu 18.04 版本中安装 MariaDB 后，每次访问MariaDB 需要加 sudo 才能访问。

原因：MariaDB 中 root 用户的密码强度不是强类型。

解决方案：将root账户的密码修改为强类型的密码，例如包含大小写字母、数字、符号的至少 8 位数。比如下面的命令将密码修改成abc@@123

SET PASSWORD = PASSWORD('abc@@123'); 远程不能访问

问题描述：不能使用服务器的ip地址连接数据库

原因：默认将ip绑定在了127.0.0.1上，所以只能使用127.0.0.1或者localhost进行连接

解决方案：修改配置文件/etc/mysql/mariadb.conf.d/50-server.cnf

sudo vi /etc/mysql/mariadb.conf.d/50-server.cnf

修改[mysqld]下的参数 bind-address = 127.0.0.1 => bind-address = 0.0.0.0

然后重启MariaDB service

sudo service mariadb restart

MariaDB/MySQL数据库读取配置文件的顺序如下：

“/etc/mysql/my.cnf” symlinks to this file, reason why all the rest is read.

“/etc/mysql/mariadb.cnf” (this file) to set global defaults,

“/etc/mysql/conf.d/*.cnf” to set global options.i

“/etc/mysql/mariadb.conf.d/*.cnf” to set MariaDB-only options.

“~/.my.cnf” to set user-specific options.

2. Hive安装 1) 下载Hive安装包

下载地址：https://dlcdn.apache.org/hive/，本文下载版本为：apache-hive-2.3.9

录然也可以在windows上通过迅雷等加速软件下载好以后，再使用sftp工具上传到相应目录

cd ~/soft wget https://dlcdn.apache.org/hive/hive-2.3.9/apache-hive-2.3.9-bin.tar.gz 2）安装Hive tar -xvf apache-hive-2.3.9-bin.tar.gz -C ~/opt cd ~/opt ln -s apache-hive-2.3.9-bin/ hive

配置环境变量

vi ~/.bashrc

在末尾添加如下内容：

export HIVE_HOME=/home/xiaobai/opt/hive export PATH=$HIVE_HOME/bin:$PATH

使配置生效

source ~/.bashrc 3）上传MySQL驱动

MySQL的连接驱动的下载页面：https://downloads.mysql.com/archives/c-j/

这里使用wget下载5.1.49版本的连接器：

cd ~/soft wget https://cdn.mysql.com/archives/mysql-connector-java-5.1/mysql-connector-java-5.1.49.tar.gz tar -xvf mysql-connector-java-5.1.49.tar.gz cp mysql-connector-java-5.1.49/mysql-connector-java-5.1.49.jar ~/opt/hive/lib

当然也可以在windows上下载好相应的连接器，然后将其传入目录$HIVE_HOME/lib即可

4）修改配置文件

配置文件：hive-site.xml

常用配置参数介绍：

属性名称类型默认值描述hive.metastore.warehouse.dirURI/user/hive/warehouse相对于fs.defaultFS的目录，托管表就存储在这里hive.metastore.uris逗号分隔的URI未设定如果未设置（默认值），则使用当前的metastore，否则连接到由URI列表指定要连接的远程metastore服务器。如果有多个远程服务器，则客户端便以轮询方式连接javax.jdo.option.ConnectionURLURIjdbc:derby:;databaseName=metastore_db;create=trueJDBC URL， mysql示例： jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=truejavax.jdo.option.ConnectionDriverNameStringorg.apache.derby.jdbc.EmbeddedDriverJDBC驱动器的类名 mysql示例： com.mysql.jdbc.Driverjavax.jdo.option.ConnectionUserNameStringAPPJDBC用户名javax.jdo.option.ConnectionPasswordStringmineJDBC密码

打开hive-site.xml

vi ~/opt/hive/conf/hive-site.xml

添加如下内容

<?xml version="1.0" encoding="UTF-8" standalone="no"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://node1:3306/hive?useSSL=false&createDatabaseIfNotExist=true</value> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>hive</value> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>hive_pwd</value> </property> <property> <name>hive.server2.thrift.port</name> <value>10000</value> </property> <property> <name>hive.server2.thrift.bind.host</name> <value>node1</value> </property> </configuration>

特别注意：这里设置的数据库主机为node1, 需要解决数据库**远程不能访问**的问题

5）元数据初始化（1）数据库对账号授权 mysql -uroot -pabc@@123 grant all privileges on hive.* to 'hive'@'%' identified by 'hive_pwd'; （2）初始化元数据 schematool -dbType mysql -initSchema 3. 测试环境 1）启动hdfs和yarn #确保启动hdfs和yarn start-dfs.sh start-yarn.sh 2）CLI命令窗口 #进入hive的CLI命令窗口，hive命令后不跟参数时，默认启动cli，即下面命令等价于hive hive --service cli

3）beeline客户端（1）启动HS2服务

使用beeline客户端，需要启动hiveserver2服务（HS2）

nohup hive --service hiveserver2 &

在启动一些后台守护进程时经常搭配使用nohup和&: nohup <程序名> &

使用nohup运行程序

使用Ctrl + C发送SIGINT信号，程序关闭关闭session发送SIGHUP信号，程序免疫

使用&后台运行

使用Ctrl + C发送SIGINT信号，程序免疫关闭session发送SIGHUP信号，程序关闭（2）启动beeline #启动beeline beeline #在交互界面输入连接信息： !connect jdbc:hive2://node1:10000 #输入用户名和密码 #查看所有数据库 show databases;

也可以在beeline启动时就指定相应连接参数

beeline -u jdbc:hive2://node1:10000 -n xiaobai -p 123456 -u: 连接的JDBC URL-n: 连接的用户名-p: 连接的密码

至此，大功告成！！！