cp1985chenpeng的博客
cp1985chenpeng · 共 9 篇文章
hadoop+hive配置
首先根据 http://cp1985chenpeng.iteye.com/blog/1328541 中配置好hadoop分布式。 然后在master上下载hive 安装hive很简单,首先解压缩。 然后配置环境变量以ubuntu为例 $sudo vim /etc/environment 添加 JAVA_HOME="/usr/lib/jvm/java-6-sun" HADOOP_HOME="/home/hadoop/hadoop" HBASE_HOME="/home/hadoop/hbase" HIVE_HOME="/home/hadoop/hive" 在$HIVE_HOME/conf目录下,…
2011-12-28 17:51 · hadoop+hive · 评论(0)
hadoop+hbase完全分布式
一 。 完全安装hadoop集群在伪分布式基础上修改几个配置文件即可, 现在假定安装两台机器的集群,一台master,一台slaves 1.修改两台机器的/etc/hosts文件 在文件中添加机器的hostname和IP,用以通讯。Master需要知道所有的slave的信息。对应的slave只需要知道Master和自身的信息即可。 #vim /etc/hosts 在后面添加: masterIP masterHostname slavesIP slavesHostname 2.Hadoop核心代码需要配置conf文件夹里面的core-site.xml,hdfs-site.xml,mapread…
2011-12-28 14:03 · hadoop+hbase · 评论(0)
hadoop-Streaming 整合hbase执行C代码实例
这两天一直在弄hadoop-streaming整合hbase执行C语言的问题。 昨天在Eclipse上自己写了一个TextTableInputFormat类继承了InputFormat类去解析hbase,然后通过自己写的mapreduce测试没有问题。 下面这个类是分析InputFormat Hbase的基类。 import java.io.IOException; import java.util.ArrayList; import java.util.List; import org.apache.commons.logging.Log; import org.apache.common…
2011-12-17 21:16 · hadoop · hadoop+hbase · hadoop-Streaming · 评论(0)
hadoop-Streaming执行C代码实例
C Code Map: Mapper.c #include <stdio.h> #include <string.h> #include <stdlib.h> #define BUF_SIZE 2048 #define DELIM "\n" int main( int argc, char *argv[]){ char buffer[BUF_SIZE]; while ( fgets (buffer, BUF_SIZE - 1, stdin)){ int len = strlen (buffer); if (buffer[len-1] == '\n' ) buffer[len-1] = 0; …
2011-12-15 20:56 · hadoop-Streaming · 评论(0)
hadoop-Streaming学习
1.概述 Hadoop Streaming是 Hadoop提供的一个编程工具,它允许用户使用任何可执行文件或脚本文件作为 Mapper和 Reducer,例如: $HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/hadoop-streaming.jar \ -input /user/test/input \ -output /user/test/output \ -mapper “myMapper.sh” \ -reducer “myReducer.sh” -input等都为该命令的参数。 2. 原理 mapper 和 reducer 会从标准输入中读取用户数…
2011-12-15 20:35 · hadoop-Streaming · 评论(0)
java客户端操作Hbase
java客户端操作Hbase 首先,配置好 hadoop+hbase 环境后,确保 hbase 正常启动。 1. 搭建开发环境 1.1、运行 Eclipse,创建一个新的 Java工程“ HBaseHelloWorld”,右键项目根目录,选择 “ Properties”->“Java Build Path”->“Library”->“Add External JARs”,将 HBase解压后根目录下的 hbase-***.jar、 hbase-***-tests.jar和 lib子目录下所有 jar 包添加到本工程的 Classpath下,如图 1所示。 1.2、按照步骤 1中的操作,将自己…
2011-12-14 13:43 · hadoop+hbase · 评论(1)
hadoop+hbase伪分布式安装
安装hadoop+hbase伪分布式 1.安装hadoop伪分布式 1.1安装jdk-6u24-linux-x64-rpm.bin,需要说明的是,尽可能的使用64位的JDK版本。 1.2进入到CDH3的官方下载网址http://archive.cloudera.com/cdh/3/下载最新hadoop和hbase的release版本hadoop-latest.tar.gz 和hbase-latest.tar.gz 。 1.3新建系统hadoop用户。命令:#adduser hadoop;#passwd hadoop,回车输入hadoop。 1.4用hadoop用户登录服务器。 1.5在/ho…
2011-12-14 12:38 · hadoop+hbase · 评论(0)
ubuntu下运行bochs
安装gcc编译环境 sudo apt-get install build-essential sudo apt-get install xorg-dev sudo apt-get install libgtk2.0-dev 下载bochs最新版本 http://bochs.sourceforge.net/ 安装命令 $tar vxzf bochs-2.4.5.tar.gz $cd bochs-2.4.5 $./configure --enable-debugger --enable-disasm $make $sudo make install 安装nasm sudo apt-get ins…
2011-07-12 17:28 · linux · 评论(0)
保护模式-内存寻址
好久以前就想系统的学习一下linux源码了,由于懒得一直没有执行,最近终于下定决定开始学习了。 首先从保护模式开始吧。 1、系统标志寄存器EFLAGS 系统标志寄存器EFLAGS控制这I/O,可屏蔽中断,调试,任务切换以及保护模式和多任务环境下虚拟8086程序的执行。其中系统标志:VM-虚拟8086模式,RF恢复标志;NT-嵌套标志;IOPL-I/O特权标志;IF-中断允许标志。 2、控制寄存器 80386共有4个控制寄存器,分别是CR0,CR1,CR2,CR3。 其中控制寄存器CR0含有系统整体的控制标志。其中: PE - 保护模式开启位(0bit位)。如果设置了该比特位,就会使处理器开始…
2011-06-23 23:08 · linux · 评论(0)