安装hadoop+hbase伪分布式
1.安装hadoop伪分布式
1.1安装jdk-6u24-linux-x64-rpm.bin,需要说明的是,尽可能的使用64位的JDK版本。
1.2进入到CDH3的官方下载网址http://archive.cloudera.com/cdh/3/下载最新hadoop和hbase的release版本hadoop-latest.tar.gz 和hbase-latest.tar.gz 。
1.3新建系统hadoop用户。命令:#adduser hadoop;#passwd hadoop,回车输入hadoop。
1.4用hadoop用户登录服务器。
1.5在/home/hadoop/目录下建立.ssh目录,修改/home/hadoop/.ssh/authorized_keys文件的权限为:-rw-r–r–,设置命令:$ cd /home/hadoop/.ssh,$ chmod 644 authorized_keys。
1.6通过ssh无需密码登录本机。ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa,直接回车,完成后会在~/.ssh/生成两个文件:id_dsa 和id_dsa.pub。这两个是成对出现,类似钥匙和锁。再执行命令$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys。此时通过命令$ssh localhost测试。
1.7解压缩hadoop.$tar -zxvf hadoop-latest.tar.gz。$mv hadoop-0.20.2-cdh3u2 hadoop.
1.8修改~/hadoop/hadoop/conf/hadoop-env.sh文件的环境变量
$cd hadoop/conf/,$vim hadoop-env.sh添加环境变量export JAVA_HOME=/usr/java/jdk1.6.0_20(自己机器上的jdk安装路径)
1.9修改hadoop配置文件
conf/core-site.xml:
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
conf/hdfs-site.xml:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
conf/mapred-site.xml:
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
1.10修改/etc/hosts配置文件
把文件中的127.0.0.1 替换成本机的实际IP。
1.11、启动/停止hadoop
1.1.1格式化namenode。$ bin/hadoop namenode -format
1.1.2启动hadoop。$ bin/start-all.sh
可以通过浏览器查看NameNode - http://localhost:50070/ ,和
JobTracker - http://localhost:50030/
1.1.3停止hadoop。$bin/stop-all.sh
2.安装hbase伪分布式
2.1解压缩上面下载的hbase-latest.tar.gz
$tar -zxvf hbase-latest.tar.gz. $mv hbase-0.90.4-cdh3u2 hbase.
$cd hbase.
2.2修改hbase-env.sh
export JAVA_HOME=/usr/lib/jvm/java-6-sun。(自己的jdk安装路径)
export HBASE_CLASSPATH=/home/hadoop/hadoop/conf
export HBASE_MANAGES_ZK=true
2.3修改hbase-site.sh
<configuration>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.rootdir</name>
<value>hdfs://localhost:9000/hbase(此处要和前面配置的hadoop路径一致)</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
2.4 修改hadoop-env.sh
export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/home/hadoop/hbase/lib/zookeeper-3.3.3-cdh3u2.jar: /home/hadoop/hbase/hbase-0.90.4-cdh3u2.jar:/home/hadoop/hadoop/hadoop-hbase-streaming.jar
2.4启动/关闭HBase
2.4.1.启动hbase $bin/start-hbase.sh
2.4.2执行$hbase shell命令,进入hbase控制台,执行控制台命令操作hbase。
2.4.3关闭hbase $bin/stop-hbase.sh
相关推荐
基于hadoop+hbase+springboot实现的分布式网盘系统,适合本科毕业设计 资源包含的整个demo在Hadoop,和Hbase环境搭建好了,可以启动起来。 技术选型 1.Hadoop 2.Hbase 3.SpringBoot ...... 系统实现的功能 1.用户...
基于hadoop+hbase+springboot实现分布式网盘系统
基于hadoop+hbase+springboot实现分布式网盘系统源码+数据集+详细文档(高分毕业设计).zip基于hadoop+hbase+springboot实现分布式网盘系统源码+数据集+详细文档(高分毕业设计).zip基于hadoop+hbase+springboot...
jdk1.8.0_131、apache-zookeeper-3.8.0、hadoop-3.3.2、hbase-2.4.12 mysql5.7.38、mysql jdbc驱动mysql-connector-java-8.0.8-dmr-bin.jar、 apache-hive-3.1.3 2.本文软件均安装在自建的目录/export/server/下 ...
Hadoop+HBase+Hive+lucene分布式搜索引擎分析系统
公司进行战略调整阶段,终于可以闲下心来潜心研究分布式应用Hadoop。至于hadoop的应用结构,在这里不必多说,大家网上搜索相关文章即可。 既然研究hadoop,就需要基础的环境搭建。由于资源有限,只能在本机windows...
利用两台云主机(真实环境至少三台)安装hadoop+hbase+sqoop2+phoenix+kerberos的过程笔记,从伪分布式到kerberos认证。
hadoop+hive+hbase在线装,超级简单
hadoop+hbase分布式集群安装方法。
自己的安装文档,验证通过! hadoop+zookeeper+hbase+hive
[Doker+HBASE+HADOOP+Zookeeper]全分布式环境搭建
基于SpringMVC+Spring+HBase+Maven搭建的Hadoop分布式云盘系统.zip 语言:Java 框架:springMVC 数据库:HBASE 可以作为毕业设计
伪分布式的Hadoop+Hive+HBase搭建记录[收集].pdf
Hadoop2.7.5-HBase1.2.6伪分布式安装文档,非常全面 适合新手入门搭建测试,1积分贱卖。童叟无欺哟(^U^)