首先根据http://cp1985chenpeng.iteye.com/blog/1328541中配置好hadoop分布式。
然后在master上下载hive
安装hive很简单,首先解压缩。
然后配置环境变量以ubuntu为例
$sudo vim /etc/environment
添加
JAVA_HOME="/usr/lib/jvm/java-6-sun"
HADOOP_HOME="/home/hadoop/hadoop"
HBASE_HOME="/home/hadoop/hbase"
HIVE_HOME="/home/hadoop/hive"
在$HIVE_HOME/conf目录下,新建一个hive-site.xml,配置Hive元数据的存储方式(我用的是mysql存储)
注意下面配置的是hive默认的是mysql的hive数据库,用户名是hive,密码是hive。所以在进行下列操作前要用root登录mysql创建hive数据库并且分配给用户hive。
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>hive.aux.jars.path</name>
<value>file:///home/hadoop/hive/lib/hive-hbase-handler-0.7.1-cdh3u2.jar,file:///home/hadoop/hive/lib/hbase-0.90.4-cdh3u2.jar,file:///home/hadoop/hive/lib/zookeeper-3.3.1.jar </value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>hostname(zookeeper配置主机名)</value>
</property>
<property>
<name>hive.metastore.local</name>
<value>true</value>
</property>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost:3306/hive</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>hive</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>hive</value>
</property>
<property>
<name>datanucleus.fixedDatastore</name>
<value>false</value>
</property>
</configuration>
在执行hive前,要把mysql-connector-java-5.1.18-bin.jar加到${HIVE_HOME}/lib中。
到此hive安装完成
$HIVE_HOME/bin/hive
hive> CREATE TABLE temp (info INT);
OK
Time taken: 0.251 seconds
OK
Time taken: 0.251 seconds
hive> CREATE TABLE test(content STRING);
OK
Time taken: 0.251 seconds
Time taken: 0.251 seconds
hive> SHOW TABLES;
OK
temp
test
Time taken: 3.612 seconds
temp
test
Time taken: 3.612 seconds
然后登录mysql验证
mysql> show tables;
+-----------------+
| Tables_in_hive |
+-----------------+
| BUCKETING_COLS |
| COLUMNS |
| DATABASE_PARAMS |
| DBS |
| PARTITION_KEYS |
| SDS |
| SD_PARAMS |
| SEQUENCE_TABLE |
| SERDES |
| SERDE_PARAMS |
| SORT_COLS |
| TABLE_PARAMS |
| TBLS |
+-----------------+
13 rows in set (0.00 sec)
+-----------------+
| Tables_in_hive |
+-----------------+
| BUCKETING_COLS |
| COLUMNS |
| DATABASE_PARAMS |
| DBS |
| PARTITION_KEYS |
| SDS |
| SD_PARAMS |
| SEQUENCE_TABLE |
| SERDES |
| SERDE_PARAMS |
| SORT_COLS |
| TABLE_PARAMS |
| TBLS |
+-----------------+
13 rows in set (0.00 sec)
mysql> select * from COLUMNS;
+-------+---------+-------------+-----------+-------------+
| SD_ID | COMMENT | COLUMN_NAME | TYPE_NAME | INTEGER_IDX |
+-------+---------+-------------+-----------+-------------+
| 1 | NULL | info | int | 0 |
| 2 | NULL | content | string | 0 |
+-------+---------+-------------+-----------+-------------+
2 rows in set (0.04 sec)
+-------+---------+-------------+-----------+-------------+
| SD_ID | COMMENT | COLUMN_NAME | TYPE_NAME | INTEGER_IDX |
+-------+---------+-------------+-----------+-------------+
| 1 | NULL | info | int | 0 |
| 2 | NULL | content | string | 0 |
+-------+---------+-------------+-----------+-------------+
2 rows in set (0.04 sec)
到此hive配置成功!
相关推荐
win10下搭建Hadoop(jdk+mysql+hadoop+scala+hive+spark),包括jdk的安装、mysql安装和配置,hadoop安装和配置,scala安装和配置,hive安装和配置,spark安装和配置。
jdk1.8.0_131、apache-zookeeper-3.8.0、hadoop-3.3.2、hbase-2.4.12 mysql5.7.38、mysql jdbc驱动mysql-connector-java-8.0.8-dmr-bin.jar、 apache-hive-3.1.3 2.本文软件均安装在自建的目录/export/server/下 ...
本资源中的源码都是经过本地编译过可运行的,下载后按照文档配置好环境就可以运行。资源项目的难度比较适中,内容都是经过助教老师审定过的,应该能够满足学习、使用需求,如果有需要的话可以放心下载使用。有任何...
从零开始hadoop+zookeeper+hbase+hive集群安装搭建,内附详细配置、测试、常见error等图文,按照文档一步一步搭建肯定能成功。(最好用有道云打开笔记)
本文件包含hadoop集群搭建的详细步骤,包含基础环境搭建,Hadoop集群搭建,Hive搭建。小白放心食用,无坑。 其中基础环境搭建包括虚拟机安装、centos7、网络配置、xshell、notepad等环境的安装。注:本文里安装的...
本方案集成了CentOS环境下的Spark、Hadoop、Hive、Scala、sbt和ZooKeeper,无需考虑版本兼容问题,可以直接用于大数据处理和分析。 【适合人群】 需要在CentOS下搭建大数据处理平台的工程师。 【包含内容】 - Spark ...
Hadoop hbase hive sqoop集群环境安装配置及使用文档
最简单的Hadoop+Spark大数据集群搭建方法,看这一篇就够啦,给出一个完全分布式hadoop+spark集群搭建完整文档,从环境准备(包括机器名,ip映射步骤,ssh免密,Java等)开始,包括zookeeper,hadoop,hive,spark,...
通过VirtualBox安装多台虚拟机,实现集群环境搭建。 优势:一台电脑即可。 应用场景:测试,学习。...内附百度网盘下载地址,有hadoop+zookeeper+spark+kafka等等·····需要的安装包和配置文件
针对Hadoop云平台的安装,部署,主要包括hadoop,hive,yarn的配置说明,使用的版本是Apache官方开源版本.
redhat 6.4 hadoop2.7+hbase1.0+hive1.2+zookeeper3.4.6安装配置, ntp配置
hive+hadoop配置文件hive+hadoop配置文件hive+hadoop配置文件hive+hadoop配置文件hive+hadoop配置文件hive+hadoop配置文件hive+hadoop配置文件hive+hadoop配置文件hive+hadoop配置文件hive+hadoop配置文件hive+...
Hadoop2.2.0+HBase.96+Hive0.12简单集群环境的搭建
本资源中的源码都是经过本地编译过可运行的,下载后按照文档配置好环境就可以运行。资源项目的难度比较适中,内容都是经过助教老师审定过的,应该能够满足学习、使用需求,如果有需要的话可以放心下载使用。有任何...
Docker(Hadoop_3.3.1+HBase_2.4.16+Zookeeper_3.7.1+Hive_3.1.3 )配置文件 搭建集群环境
资源中的源码都是经过本地编译过可运行的,下载后按照文档配置好环境就可以运行。资源项目的难度比较适中,内容都是经过助教老师审定过的,应该能够满足学习、使用需求,如果有需要的话可以放心下载使用。
hadoop&hive安装配置。3台机器,master做为namenonde,将slave1和slave2做为datanode。
Hadoop和Hive的安装配置
大数据离线分析系统,基于hadoop的hive以及sqoop的安装和配置
linux上在centos系统中进行hadoop完全分布式集群安装,在hadoop安装完成后的基础之上安装元数据库Mariadb,配置完成后安装hive,zookeeper等。