Hive安装环境准备_hive官方运行环境

一、hive下载地址

1）Hive官网地址：
链接: http://hive.apache.org/

2）文档查看地址：
链接: https://cwiki.apache.org/confluence/display/Hive/GettingStarted

3）下载地址：
链接: http://archive.apache.org/dist/hive/

4）github地址：
链接: https://github.com/apache/hive

二、Hive安装部署

2.1 Hive安装及配置

（1）把apache-hive-1.2.1-bin.tar.gz上传到linux的/opt/software目录下

（2）解压apache-hive-1.2.1-bin.tar.gz到/opt/module/目录下面

[itstar@bigdata111 software]$ tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /opt/module/

（3）修改apache-hive-1.2.1-bin.tar.gz的名称为hive

[itstar@bigdata111 module]$ mv apache-hive-1.2.1-bin/ hive

（4）修改/opt/module/hive/conf目录下的hive-env.sh.template名称为hive-env.sh

[itstar@bigdata111 conf]$ mv hive-env.sh.template hive-env.sh

（5）配置hive-env.sh文件

	（a）配置HADOOP_HOME路径
	export HADOOP_HOME=/opt/module/hadoop-2.8.4

	（b）配置HIVE_CONF_DIR路径
	export HIVE_CONF_DIR=/opt/module/hive/conf
1
2
3
4
5

注：hive的log默认存放在/tmp/itstar/hive.log目录下（当前用户名下）。

（1）修改hive的log存放日志到/opt/module/hive/logs
（2）修改conf/hive-log4j.properties.template文件名称为hive-log4j.properties

[itstar@bigdata111conf]$ pwd /opt/module/hive/conf
[itstar@bigdata111conf]$ mv hive-log4j.properties.template hive-log4j.properties 
1

（3）在hive-log4j.properties文件中修改log存放位置

hive.log.dir=/opt/module/hive/logs

2.2 Hadoop集群配置

（1）必须启动hdfs和yarn

[itstar@bigdata111hadoop-2.8.4]$ sbin/start-dfs.sh
[itstar@bigdata112 hadoop-2.8.4]$ sbin/start-yarn.sh
1

（2）在HDFS上创建/tmp和/user/hive/warehouse两个目录并修改他们的同组权限可写

[itstar@bigdata111hadoop-2.8.4]$ bin/hadoop fs -mkdir /tmp
[itstar@bigdata111hadoop-2.8.4]$ bin/hadoop fs -mkdir /user/hive/warehouse
1

[itstar@bigdata111hadoop-2.8.4]$ bin/hadoop fs -chmod g+w /tmp
[itstar@bigdata111hadoop-2.8.4]$ bin/hadoop fs -chmod g+w /user/hive/warehouse
1

2.3 Hive基本操作

（1）启动hive

[itstar@bigdata111hive]$ bin/hive

（2）查看数据库

 hive>show databases;

（3）打开默认数据库

 hive>use default;

（4）显示default数据库中的表

hive>show tables;

（5）创建一张表

hive> create table student(id int, name string) ;

（6）显示数据库中有几张表

hive>show tables;

（7）查看表的结构

hive>desc student;

（8）向表中插入数据

hive> insert into student values(1001,"ss1");

（9）查询表中数据

 hive> select * from student;

（10）退出hive

hive> quit;

三、MySql安装配置

3.1 官网下载地址
链接: https://dev.mysql.com/downloads/file/?id=471503

3.2 检测本地是否有mysql已存在的包

rpm -qa | grep mysql

3.3 检测本地是否有mariadb已存在的包

rpm -qa | grep mariadb

3.4 如果存在，则使用yum命令卸载

mariadb-libs-5.5.56-2.el7.x86_64

yum -y remove mariadb-libs-5.5.56-2.el7.x86_64

rpm -e --nodeps mariadb-libs-5.5.56-2.el7.x86_64
1
2

3.5 创建一个文件夹，上传jar包到/opt/software/mysql

mkdir /opt/software/mysql

3.6 解压mysql jar包

tar -xvf mysql-5.7.19-1.el7.x86_64.rpm-bundle.tar -C /opt/module/mysql

3.7 安装mysql的 server、client、common、libs、lib-compat

rpm -ivh --nodeps mysql-community-server-5.7.19-1.el7.x86_64.rpm

rpm -ivh --nodeps mysql-community-client-5.7.19-1.el7.x86_64.rpm

rpm -ivh mysql-community-common-5.7.19-1.el7.x86_64.rpm

rpm -ivh mysql-community-libs-5.7.19-1.el7.x86_64.rpm

rpm -ivh mysql-community-libs-compat-5.7.19-1.el7.x86_64.rpm
1
2
3
4
5
6
7
8
9

3.8 查看mysql的服务是否启动

systemctl status mysqld

Active: inactive (dead)

3.9 启动mysql的服务

systemctl start mysqld

3.10 再次检查mysql的服务是否启动

systemctl status mysqld

Active: active (running) since Thu 2019-03-21 07:23:08 EDT; 2s ago

3.11 查看默认生成的密码

cat /var/log/mysqld.log | grep password

2019-03-21T11:23:01.643479Z 1 [Note] A temporary password is generated
for root@localhost: iwkJGgd:j6jO

3.12 登录mysql服务

mysql -uroot -p’然后粘贴上密码’

3.13 修改mysql密码规则

注：以下修改是临时修改

1. 密码强度检查等级，0/LOW、1/MEDIUM、2/STRONG

mysql> set global validate_password_policy=0;
Query OK, 0 rows affected (0.05 sec)
1

b.密码至少要包含的小写字母个数和大写字母个数
1

mysql> set global validate_password_mixed_case_count=0;
Query OK, 0 rows affected (0.00 sec)
1

c.密码至少要包含的数字个数 
1

mysql> set global validate_password_number_count=3;
Query OK, 0 rows affected (0.00 sec)
1

d.密码至少要包含的特殊字符数
1

mysql> set global validate_password_special_char_count=0;
Query OK, 0 rows affected (0.00 sec)
1

e.密码最小长度，参数默认为8，
1

它有最小值的限制，最小值为：validate_password_number_count + 密码至少要包含的数字个数validate_password_special_char_count +特殊字符(2 * validate_password_mixed_case_count)至少要包含的小写字母个数和大写字母个数

mysql> set global validate_password_length=3;
Query OK, 0 rows affected (0.00 sec)
1

3.14 修改远程登录权限

如上图所示：这个是可以成功远程链接得配置
大家默认的%的位置是localhost,即意味着只能本机访问

查询当前user表内root的登录权限：

select host,user from mysql.user;

修改权限为所有%：

update mysql.user set host = '%' where user = 'root';

刷新缓存：

flush privileges;

四、Hive元数据配置到MySql

4.1 拷贝驱动

上传mysql-connector-java-5.1.27-bin.jar到/opt/module/hive/lib/：

[root@bigdata111mysql-connector-java-5.1.27]# cp mysql-connector-java-5.1.27-bin.jar /opt/module/hive/lib/
1

4.2 配置Metastore到MySql

1）在/opt/module/hive/conf目录下创建一个

[itstar@bigdata111conf]$ touch hive-site.xml
[itstar@bigdata111conf]$ vi hive-site.xml
1

2）根据官方文档配置参数，拷贝数据到hive-site.xml文件中。

链接: https://cwiki.apache.org/confluence/display/Hive/AdminManual+MetastoreAdmin

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl"href="configuration.xsl"?>
<configuration>
         <property>
          <name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://bigdata111:3306/metastore?createDatabaseIfNotExist=true</value>
           <description>JDBC connect string for a JDBC metastore</description>
         </property>
   
         <property>
          <name>javax.jdo.option.ConnectionDriverName</name>
           <value>com.mysql.jdbc.Driver</value>
           <description>Driver class name for a JDBC metastore</description>
         </property>
   
         <property>
          <name>javax.jdo.option.ConnectionUserName</name>
           <value>root</value>
           <description>username to use against metastore database</description>
         </property>
   
         <property>
          <name>javax.jdo.option.ConnectionPassword</name>
           <value>000000</value>
           <description>password to use against metastore database</description>
         </property>
  </configuration>
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27

3） 配置完毕后，如果启动hive异常，可以重新启动虚拟机。（重启后，别忘了启动hadoop集群）

4） 在hive的bin目录下执行

./schematool -dbType mysql -initSchema

元数据修改成功：