空白诗007

这个屌丝很懒，什么也没留下！

热门标签

hive jdbc使用_hive jdbc url

作者：空白诗007 | 2024-07-30 15:32:47

踩

hive jdbc url

在hive学习中，通过java调用hive的jdbc驱动来查询数据。

声明：当前基于hive1.2.1版本进行的学习和测试。

首先环境中有部署hive，并且存在。

Java工程需要配置以及代码编写：

1、需要用到的依赖jar包：用的maven项目

< dependency >

< groupId > org.apache.hive </ groupId >

< artifactId > hive-jdbc </ artifactId >

< version > ${hive.version} </ version >

</ dependency >

< dependency >

< groupId > org.apache.hadoop </ groupId >

< artifactId > hadoop-common </ artifactId >

< version > ${hadoop.version} </ version >

</ dependency >

2、集群环境启动hive的server，在hive1.2.1版本以后需要使用 hiveserver2来启动，具体可以参考官方文档，并且可以查看${HIVE_HOME}/bin目录下是有hiverserver2存在的。

可以通过命令启动：

hive --service hiveserver2 --hiveconf hive.server2.thrift.port=11111 设置端口号，默认端口号为10000

也可以通过hiveserver2 直接启动，这时端口号为默认10000

3、java代码的编写

首先编写一个service类，以连接hive的jdbc（其实是一个jdbcUtil）

package hive;

import java.sql.Connection;

import java.sql.DriverManager;

import java.sql.SQLException;

import java.sql.Statement;

import org.apache.log4j.Logger;

public class HiveService {

static Logger logger = Logger.getLogger(HiveService. class );

//hive的jdbc驱动类

public static String dirverName = "org.apache.hive.jdbc.HiveDriver" ;

//连接hive的URL hive1.2.1版本需要的是jdbc:hive2，而不是 jdbc:hive

public static String url = "jdbc:hive2://192.168.10.100:11111/default" ;

//登录linux的用户名一般会给权限大一点的用户，否则无法进行事务形操作

public static String user = "hive" ;

//登录linux的密码

public static String pass = "hive" ;

/**

* 创建连接

* @return

* @throws SQLException

public static Connection getConn(){

Connection conn = null ;

try {

Class.forName( dirverName );

conn = DriverManager.getConnection( url , user , pass );

} catch (ClassNotFoundException e ) {

// TODO Auto-generated catch block

e .printStackTrace();

} catch (SQLException e ) {

// TODO Auto-generated catch block

e .printStackTrace();

}

return conn ;

}

/**

* 创建命令

* @param conn

* @return

* @throws SQLException

public static Statement getStmt(Connection conn ) throws SQLException{

logger .debug( conn );

if ( conn == null ){

logger .debug( "this conn is null" );

}

return conn .createStatement();

}

/**

* 关闭连接

* @param conn

public static void closeConn(Connection conn ){

try {

conn .close();

} catch (SQLException e ) {

// TODO Auto-generated catch block

e .printStackTrace();

}

/**

* 关闭命令

* @param stmt

public static void closeStmt(Statement stmt ){

try {

stmt .close();

} catch (SQLException e ) {

// TODO Auto-generated catch block

e .printStackTrace();

}

再编写一个测试类：

package hive;

import java.sql.Connection;

import java.sql.ResultSet;

import java.sql.ResultSetMetaData;

import java.sql.SQLException;

import java.sql.Statement;

import org.apache.log4j.Logger;

public class HiveTestOne {

static Logger logger = Logger.getLogger(HiveTestOne. class );

public static void main(String[] args ){

Connection conn = HiveService.getConn();

Statement stmt = null ;

try {

stmt = HiveService.getStmt( conn );

} catch (SQLException e ) {

logger .debug( "1" );

}

String sql = "select * from test" ;

ResultSet res = null ;

try {

res = stmt .executeQuery( sql );

ResultSetMetaData meta = res .getMetaData();

for ( int i = 1; i <= meta .getColumnCount(); i ++){

System. out .print( meta .getColumnName( i ) + " " );

}

System. out .println();

while ( res .next()){

System. out .print( res .getString(1) + " " );

System. out .print( res .getString(2) + " " );

System. out .println();

}

} catch (SQLException e ) {

e .printStackTrace();

}

try {

stmt .execute( "insert into test1(id, name) values(222,'yang')" );//需要拥有hdfs文件读写权限的用户才可以进行此操作

logger .debug( "create is susscess" );

} catch (SQLException e ) {

// TODO Auto-generated catch block

e .printStackTrace();

}

HiveService.closeStmt( stmt );

HiveService.closeConn( conn );

}

遇到的问题：

1、 Java.lang.ClassNotFoundException: org.apache.Hadoop.hive.jdbc.HiveDriver

突然发现多写了一个Hadoop，这个路径写错了，Hadoop是多余的，应该是 org.apache.hive.jdbc.HiveDriver

2、 java.sql.SQLException: No suitable driver found for jdbc:hive://192.168.10.100:11111/default

这是由于我使用的是hive1.2.1版本，到此版本后URL地址应该写成 jdbc:hive2://192.168.10.100:11111/default

3、 java.sql.SQLException: Could not open client transport with JDBC Uri: jdbc:hive2://192.168.10.100:11111/default: java.NET.ConnectException: Connection refused

这是由于远程hive集群没有启动hiveserver2导致的。

4、出现异常 java.sql.SQLException : Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

到hive后台查看日志

Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException): Permission denied: user=hive, access=EXECUTE, inode="/tmp":root:supergroup:drwxrwx---

权限问题，所以切换一下用户试一下，在我的代码

//hive的jdbc驱动类

public static String dirverName = "org.apache.hive.jdbc.HiveDriver" ;

//连接hive的URL hive1.2.1版本需要的是jdbc:hive2，而不是 jdbc:hive

public static String url = "jdbc:hive2://192.168.10.100:10000/default" ;

//登录linux的用户名一般会给权限大一点的用户，否则无法进行事务形操作

public static String user = "hive" ;

//登录linux的密码

public static String pass = "hive" ;

我使用的是hive用户登录，在我的集群中hdfs的文件其他用户没有写的权限，只有读的权限，所以我将

//登录linux的用户名一般会给权限大一点的用户，否则无法进行事务形操作

public static String user = "root" ;

//登录linux的密码

public static String pass = "123456" ;

切换为我的管理员root用户，这样就可以执行create和insert语句了。

本文内容由网友自发贡献，转载请注明出处：【wpsshop博客】