一 。完全安装hadoop集群在伪分布式基础上修改几个配置文件即可,
现在假定安装两台机器的集群,一台master,一台slaves
1.修改两台机器的/etc/hosts文件
在文件中添加机器的hostname和IP,用以通讯。Master需要知道所有的slave的信息。对应的slave只需要知道Master和自身的信息即可。
#vim /etc/hosts
在后面添加:
masterIP masterHostname
slavesIP slavesHostname
2.Hadoop核心代码需要配置conf文件夹里面的core-site.xml,hdfs-site.xml,mapread-site.xml,mapred-site.xml,hadoop-env.sh这几个文件。具体各个配置的含义请参考Hadoop帮助文档 。
2.1.首先编辑各个机器节点(包括master和slave)的core-site.xml文件,命令如下:(Hadoop 文件夹放在home下)
#vim HADOOP_HOME/conf/core.xml core-site.xml文件配置,应如下面代码所示:<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://masterHostname:9000</value>#此处要用nasterHostname,不然在启动hive的时候会出错
</property>
</configuration>
2.2 其次编辑各个机器节点(包括master和slave)的hdfs-site.xml,命令如下:
vim HADOOP_HOME/conf/hdfs-site.xml<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
2.3再次,编辑各个机器节点(包括master和slave)mapred-site.xml文件,命令如下:
vim HADOOP_HOME/conf/mapred-site.xml<configuration>
<property>
<name>mapred.job.tracker</name>
<value>masterHostname:9001</value>
</property>
<property>
<name>mapred.tasktracker.map.tasks.maximum</name>
<value>3</value>
</property>
<property>
<name>mapred.tasktracker.reduce.tasks.maximum</name>
<value>1</value>
</property>
<property>
<name>mapred.map.child.java.opts</name>
<value>-Xmx200m</value>
</property>
</configuration>2.4最后,编辑各个机器节点(包括master和slave) hadoop-env.sh文件,命令如下:
vim HADOOP_HOME/conf/hadoop-env.sh在文件中加入:
export JAVA_HOME=/usr/lib/jvm/java-6-sun
export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$HBASE_HOME/lib/zookeeper-3.3.3- cdh3u2.jar:$HBASE_HOME/hbase-0.90.4-cdh3u2.jar:$HADOOP_HOME/hadoop- hbase-streaming.jar3.配置集群的主从关系。在所有机器节点上,Hadoop的conf文件夹中,都有slaves和masters 两个文件。往masters中添加 Master(master)的IP地址或者hostname。往slaves文件中添加Slaves的IP或hostname。所有节点都需 要修改。
4.配置集群内机器的ssh连接,也基本和伪分布式一样,只不过此处要把master上生成的公钥拷贝到slave机器上,把它也写入slave机器上的authorized_keys文件即可。
到此分布式hadoop集群配置完成。接着就可以启动集群了。只要在master机器上输入命令
HADOOP_HOME/bin/hadoop namenode -formatHADOOP_HOME/bin/start-all.sh
二。hbase集群安装
1.编辑所有机器上的hbase-site文件,
vim HBASE_HOME/conf/hbase-site.xml其中首先需要注意hdfs://master:9000/hbase这里,必须与 hadoop集群中的core-site.xml文件配置保存一致,再者hbase该项不识别机器IP,只能用机器的 hostname,<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.rootdir</name>
<value>hdfs://master:9000/hbase</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>hbse.master</name>
<value>master:6000</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>master</value>#此处必须是奇数个
</property>
2.hbase-env.sh配置跟伪分布式的一样
3. 编辑所有机器,修改HBASE_NAME/conf 文件夹下的regionservers文
件。添加slaves的IP即可。
行文至此,HBase集群的配置已然完成。以下便是启动和测试。
4.启动.测试HBase数据库。
在master启动HBase数据库(Hadoop集群必须已经启动)。 启动命令:
HBASE_HOME/bin/start-hbase.sh
相关推荐
jdk1.8.0_131、apache-zookeeper-3.8.0、hadoop-3.3.2、hbase-2.4.12 mysql5.7.38、mysql jdbc驱动mysql-connector-java-8.0.8-dmr-bin.jar、 apache-hive-3.1.3 2.本文软件均安装在自建的目录/export/server/下 ...
自己的安装文档,验证通过! hadoop+zookeeper+hbase+hive
此文以命令行+截图的形式详细的记录了Hadoop-2.6.4+Zookeeper-3.4.9+Hbase-1.2.4分布式开发平台的环境配置过程,希望能对大家有所帮助。
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。 本文链接:... 一、 环境说明 主机名 Zookeeper ...(QuorumPeerMain) ...Controller
Hadoop 2.6.0+Hbase1.12+mahout0.9 集群搭建,自己写的,可以根据实际情况搭建伪分布式或者完全分布式。
主要介绍了详解VMware12使用三台虚拟机Ubuntu16.04系统搭建hadoop-2.7.1+hbase-1.2.4(完全分布式),具有一定的参考价值,有兴趣的可以了解一下。
资源描述:妳那伊抹微笑_云计算之Hadoop-2.2.0+Hbaase-0.96.2 +Hive-0.13.1完全分布式环境整合安装文档V1.0.0.docx 博客地址:http://blog.csdn.net/u012185296 技术方向:Flume+Kafka+Storm+Redis/Hbase+Hadoop+...
hadoop3台机器集群的详细安装部署过程
图文结合,详细介绍了hbase的安装和部署。通过详细过程化描述,步骤简单高效。希望能够对大家有所帮助。
资源名称:hadoop2完全分布式及整合hbase0.96安装文档 内容简介: 首先说一下这个安装过程需要注意的地方一、使用新建用户可能会遇到的问题(1)权限问题:对于新手经常使用root,刚开始可以使用,...
本文档由王家林老师详细的介绍了 hadoop2.2完全分布式 及整合hbase0.96 安装步骤,图文并茂。
hadoop2完全分布式最新高可靠安装文档及整合hbase0.96中文安装详解,新手必备!
hadoop-2.7.5,hbase1.2.6.zookeeper.3.3.6完全分布式安装教程 hadoop-2.7.5,hbase1.2.6.zookeeper.3.3.6完全分布式安装教程 hadoop-2.7.5,hbase1.2.6.zookeeper.3.3.6完全分布式安装教程
100节课详细讲解,需要的小伙伴自行百度网盘下载,链接见附件,永久有效。...88_hbase_完全分布式01 89_hbase_完全分布式02 90_hbase_代码01 91_hbase_代码02 92_hbase_代码03 93_hbase_代码04 等等
hadoop2.7分布式完全安装配置手册,含hbase1.2安装配置,图文并茂,一看就会。
本文是继hadoop伪分布式安装文档后,又一篇详细介绍完全分布式安装hadoop的过程,并在此基础上,介绍了如何集成安装hbase和hive的详细步骤。 本文真实记录了我安装过程的每个细节,初学者,可按文档一步步轻松完成...
hadoop3.2.1的配置文件,按照《Centos 7 zookeeper 3.5.6 + hadoop 3.2.1+Hbase 2.2.2完全分布式+高可用(HA)》的配置要求,修改ip和主机名后,直接覆盖及可用
本PPT是作为大学实践课教材,个人制作,现分享给大家!内容就是Hadoop高可用完全分布模式整个部署过程,zookeeper、Hadoop、Hbase等
hadoop2.2+hbase0.96+hive0.12安装整合详细高可靠文档及经验总结 - 文档hadoop2.4插件下载、完全分布式、伪分布、eclipse插件开发文档hadoop2完全分布式最新高可靠安装文档及整合hbase0.96安装从零教你在Linux环境下...