hbase安装步骤(hbase java)
本文目录
- hbase java
- hbaseexplorer怎么安装
- 独立的HBase实例解压缩,解压错误问题,怎么解决
- 求助,关于hbase的versi***问题
- 怎么重装hbase
- 如何把rdd数据写入hbase
- hbase 必须安装zookeep吗
- 坑爹的Apache hbase 64位机装配Snappy终于成功了怎么解决
- CDH6.3.1 hue 配置hbase
- 急,急需要在vmware虚拟机的hadoop上安装运行hbase的截图
hbase java
hbase java是什么,让我们一起了解一下?
HBase是一个分布式的、面向列的开源数据库,具有高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。
如何使用J**A语言操作Hbase、整合Hbase?
可分为五步骤:
步骤1:新创建一个Java Project 。
步骤2:导入JAR包,在工程根目录下新建一个“lib”文件夹,将官方文档中的lib目录下的jar全部导入。
步骤3:修改开发机的hosts文件,在文件莫为增加一行虚拟机IP的映射信息。
步骤4:修改虚拟机的配置文件,修改虚拟机的设备名称,名称需要与之前两个配置文件的映射名称一致。
步骤5:实现查询、新建、删除等。
案例代码展示如下:
package hbase; import java.io.IOException; import java.util.ArrayList; import java.util.List; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.Cell; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.HColumnDescriptor; import org.apache.hadoop.hbase.HTableDescriptor; import org.apache.hadoop.hbase.TableName; import org.apache.hadoop.hbase.client.Admin; import org.apache.hadoop.hbase.client.Connection; import org.apache.hadoop.hbase.client.ConnectionFactory; import org.apache.hadoop.hbase.client.Delete; import org.apache.hadoop.hbase.client.Get; import org.apache.hadoop.hbase.client.Put; import org.apache.hadoop.hbase.client.Result; import org.apache.hadoop.hbase.client.ResultScanner; import org.apache.hadoop.hbase.client.Scan; import org.apache.hadoop.hbase.client.Table; import org.apache.hadoop.hbase.excepti***.DeserializationException; import org.apache.hadoop.hbase.filter.Filter; import org.apache.hadoop.hbase.filter.SingleColumnValueFilter; import org.apache.hadoop.hbase.filter.CompareFilter.CompareOp; import org.apache.hadoop.hbase.util.Bytes; import org.junit.Before; import org.junit.Test; public class HBaseDemo { // 与HBase数据库的连接对象 Connection connection; // 数据库元数据操作对象 Admin admin; @Before public void setUp() throws Exception { // 取得一个数据库连接的配置参数对象 Configuration conf = HBaseConfiguration.create(); // 设置连接参数:HBase数据库所在的主机IP conf.set("hbase.zookeeper.quorum", "192.168.137.13"); // 设置连接参数:HBase数据库使用的端口 conf.set("hbase.zookeeper.property.clientPort", "2181"); // 取得一个数据库连接对象 connection = ConnectionFactory.createConnection(conf); // 取得一个数据库元数据操作对象 admin = connection.getAdmin(); } /** * 创建表 */ public void createTable() throws IOException{ System.out.println("---------------创建表 START-----------------"); // 数据表表名 String tableNameString = "t_book"; // 新建一个数据表表名对象 TableName tableName = TableName.valueOf(tableNameString); // 如果需要新建的表已经存在 if(admin.tableExists(tableName)){ System.out.println("表已经存在!"); } // 如果需要新建的表不存在 else{ // 数据表描述对象 HTableDescriptor hTableDescriptor = new HTableDescriptor(tableName); // 列族描述对象 HColumnDescriptor family= new HColumnDescriptor("base");; // 在数据表中新建一个列族 hTableDescriptor.addFamily(family); // 新建数据表 admin.createTable(hTableDescriptor); } System.out.println("---------------创建表 END-----------------"); } /** * 查询整表数据 */ @Test public void queryTable() throws IOException{ System.out.println("---------------查询整表数据 START-----------------"); // 取得数据表对象 Table table = connection.getTable(TableName.valueOf("t_book")); // 取得表中所有数据 ResultScanner scanner = table.getScanner(new Scan()); // 循环输出表中的数据 for (Result result : scanner) { byte valueArray = cell.getValueArray(); System.out.println("row value is:" + new String(familyArray) + new String(qualifierArray) + new String(valueArray)); } } System.out.println("---------------按条件查询表数据 END-----------------"); } /** * 清空表 */ @Test public void truncateTable() throws IOException{ System.out.println("---------------清空表 START-----------------"); // 取得目标数据表的表名对象 TableName tableName = TableName.valueOf("t_book"); // 设置表状态为无效 admin.disableTable(tableName); // 清空指定表的数据 admin.truncateTable(tableName, true); System.out.println("---------------清空表 End-----------------"); } /** * 删除表 */ @Test public void deleteTable() throws IOException{ System.out.println("---------------删除表 START-----------------"); // 设置表状态为无效 admin.disableTable(TableName.valueOf("t_book")); // 删除指定的数据表 admin.deleteTable(TableName.valueOf("t_book")); System.out.println("---------------删除表 End-----------------"); } /** * 删除行 */ @Test public void deleteByRowKey() throws IOException{ System.out.println("---------------删除行 START-----------------"); // 取得待操作的数据表对象 Table table = connection.getTable(TableName.valueOf("t_book")); // 创建删除条件对象 Delete delete = new Delete(Bytes.toBytes("row2")); // 执行删除操作 table.delete(delete); System.out.println("---------------删除行 End-----------------"); } /** * 删除行(按条件) */ @Test public void deleteByCondition() throws IOException, DeserializationException{ System.out.println("---------------删除行(按条件) START-----------------"); // 步骤1:调用queryTableByCondition()方法取得需要删除的数据列表 // 步骤2:循环步骤1的查询结果,对每个结果调用deleteByRowKey()方法 System.out.println("---------------删除行(按条件) End-----------------"); } /** * 新建列族 */ @Test public void addColumnFamily() throws IOException{ System.out.println("---------------新建列族 START-----------------"); // 取得目标数据表的表名对象 TableName tableName = TableName.valueOf("t_book"); // 创建列族对象 HColumnDescriptor columnDescriptor = new HColumnDescriptor("more"); // 将新创建的列族添加到指定的数据表 admin.addColumn(tableName, columnDescriptor); System.out.println("---------------新建列族 END-----------------"); } /** * 删除列族 */ @Test public void deleteColumnFamily() throws IOException{ System.out.println("---------------删除列族 START-----------------"); // 取得目标数据表的表名对象 TableName tableName = TableName.valueOf("t_book"); // 删除指定数据表中的指定列族 admin.deleteColumn(tableName, "more".getBytes()); System.out.println("---------------删除列族 END-----------------"); } /** * 插入数据 */ @Test public void insert() throws IOException{ System.out.println("---------------插入数据 START-----------------"); // 取得一个数据表对象 Table table = connection.getTable(TableName.valueOf("t_book")); // 需要插入数据库的数据集合 List putList = new ArrayList (); Put put; // 生成数据集合 for(int i = 0; i
hbaseexplorer怎么安装
Win 7系统:1、win7系统安装字体最方便了,解压好你下载好的字体压缩包(一般都是压缩好的),得到的TTF文件2、右键点击字体文件,选择“安装”即可3、我们打开我们的软件,我这里就用word吧,这里可以看到我安装好的字体XP系统:1、也是很简单的,首先就是把字体解压出来,复制得到字体文件TTF2、粘贴到C:\Windows\Fonts就可以了
独立的HBase实例解压缩,解压错误问题,怎么解决
下载hbase的安装包,hbase和底层的hdoop有一定的关联适配关系,应可能下载相配套的版本,可以少走很多弯路,下载后传到预定为hbase master的主机上。小编的版本比较老,hadoop为0.20.2,hbase是0.95.5
hbase的安装很简单,用tar命令解压缩即可使用,不会与其它包产生互相依赖关系,但运行的前提是java和hapdoop都已经正确安装,而且确定已经能够启动hadoop软件。
解决完成后,进入到前一步hbase的解压目录,进到conf子目录,需要修改一些配置文件后,hbase才能正常启动,如下图所示,主要是三个文件hbase-env.sh、regi***ervers和hbase-site.xml。
hbase-env.sh是hbase的环境配置文件,需要 将J**A_HOME和HBASE_MANAGES_ZK进行修改,其中java_home目录代表java在本机的安装目录,HBASE_MANAGES_ZK取决于zookeeper是否单独安装,如和小编一样象省点事,就用hbase自带的,需要将HBASE_MANAGES_ZK前的注释去掉,赋值为True。
regi***ervers文件的修改很简洁,只要把所有的datanode主机名写入该文件即可,需要注意的是如果把hbase的master是单独安装的,那不需要将不参与数据分布的机器名写在这个配置文件里。
hbase-site.xml配置文件缺省是没有配置项的,需要写入的信息较多,具体如下图所示,至少需要配置hbase.rootdir、hbase.cluster.distributed、hbase.zookeeper.quorum、hbase.tmp.dir四项。其中hbase.cluster.distributed按下图配置即可。
hbase.rootdir为hadoop的配置,因此需要与本机hadoop的配置一致,具体文件可参见hadoop的conf目录下的core-site.xml中fs.default.name下的属性,如下图所示。
hbase.tmp.dir项要注意的是配置中目录,一定要预先建立,系统不会自动创建,否则hbase是无**常启动的。hbase.zookeeper.quorum下配置的机器数需要是单数,双数将无数启动。
所有hbase的主机用scp命令从已安装的机器上复制整个hbase安装目录,复制完成后,可能需要修改hbase-env.sh中java_home配置,如果所有主机的配置都一样,就不需要作修改
在hmater主机上键入./start-hbase.sh命令启动数据库,不需要在其它节点执行。正常启动后在mater上有两个进程,HMaster和 HQuorumPeer;数据节点上有HRegionServer和HQuorumPeer进程。
***隐藏网址***
求助,关于hbase的versi***问题
在apache上下载的hbase,默认的编译版本是根据hadoop-1.0.3的。
需要用其他版本的hadoop的,要对hbase进行重新编译。
编译并不难,但是第一次,还是出了很多很多状况。
PS:HBase版本:hbase-0.94.1
hadoop版本 2.0.1
1,下载maven。(hbase是用maven编译的,hadoop用ant)
2,hbase的pom.xml里面hadoop 2.0用的是2.0.0-alpha,pom.xml,
把《hadoop.version》2.0.0-alpha《/hadoop.version》
改成: 《hadoop.version》2.0.0-alpha《/hadoop.version》。
3,到hbase-0.94.1的安装目录下,执行如下语句:
Shell代码
${M**EN_HOME}/bin/mvn -e -Dmaven.test.skip****c=true -Dhadoop.profile=2.0 package
然后就是等待了,大概讲下各个参数的含义:
-e 编译时打印出详细错误信息
-Dmaven.test.skip****c=true 编译时跳过测试步骤
-Dhadoop.profile=2.0 编译时使用hadoop.profile 2.0,也就是针对2.0的hadoop编译。
4,然后就是到target路径下找hbase-0.94.1.tar.gz的包,用这个包部署。
怎么重装hbase
笔记本电脑出故障是我们在使用电脑的过程中再正常不过的事情。笔记本电脑使用久了,就会出现反应迟钝、感染木马病毒等问题,甚至是杀毒软件也查收不了的情况。那么,在电脑瘫痪不能使用的情况下,重装系统就是一大方法了。笔记本怎么重装系统?笔记本主流系统目前有XP和win7,重装的方法也有很多,下面小编就来教大家两种比较简单易懂的方法。
一、不需要使用光盘、U盘的重装系统方法
不需要光盘,不用u盘装系统,轻松5步,即可将您的操作系统恢复到初始状态(只是恢复系统盘,不会对其他磁盘进行操作)。
安装系统步骤操作如下:
第一步:下载金山重装高手。
第二步:点击主界面的大按钮。该工具无需系统光盘,一键重装系统;自动备份/还原重要数据,并且全面支持win xp和win7。
第三步:该工具将安装系统步骤分为5步,分别是环境检测、备份数据、重装系统、还原数据、重装完成,这样的安装系统步骤极其简单,完全为您减少不必要的操作,并且大大缩短安装系统时间。
提示重启,重启三次之后即可完成重装。
二、使用光盘重装系统的方法
1、设置光驱启动
(1)找一张带启动功能的WINDOWS XP安装光盘放入光驱中 。
(2)重新启动计算机,并在开机自检时按F2键进入CMOS设置。
(3)选择Advanced CMOS Setup(高级COMS设置)项,按Enter键进入。
(4)移动↑、↓移动到Boot Device Priority(启动设备顺序设置),并按Enter键进入。
(5)移动↑、↓移动到1ST(即第1启动设备,2nd、3rd、4th表示第2、第3、第4启动设备)并按Enter键进入 。
(6)移动↑、↓移动到CD/DVD,并Enter键设置成功。
说明:此项进入后主要有4个选择项,分别表示: Disable:禁止 ,IDE-0:从硬盘启动 ,Floopy:1.44MB 3 1/2:从3.25英寸1.44MB软盘启动 ,CD/DVD:从普通光驱或者DVD光驱启动 。
(7)按F10键并按“Y”字母保存设置, 保存后电脑会重新启动。
2、安装XP的步骤
电脑重新启动自检完成后,会在屏幕的底下或上面出现:BOOT FROM CD字样,表示电脑将从光驱启动。后面则会出现“Press qny key to boot from CD”(意思是按任意键将从光驱启动)的提示,时间点从1-5点依次增加,表示等待5秒钟,如果在这5秒钟之内按下任意一键,则从光盘启动进入XP的安装,如果超过5秒钟,则从硬盘启动进入原来已安装好的系统。
重要说明:
★安装XP总共有3次的重新启动过程:第一次即设置光盘启动; 第二次是安装程序从光盘上复制了系统安装文件;第三次则是所有必须的系统文件和应用程序已复制到电脑上,安装基本完成,保存好设置后的重新启动。
★如果在第一次重新启动后将光盘启动设置回硬盘启动或其它设备启动的话,就不再出现BOOT FROM CD字样,如果没有,则还会出现,请在后2次的重新启动时不要在5秒内按任意键,否则又进行重复重制文件的过程。
★XP系统盘光启之后便是蓝色背景的安装界面,这时系统会自动分析计算机信息,不需要任何操作,直到显示器屏幕变黑一下,随后出现蓝色背景的中文界面。 这时首先出现的是XP系统的协议,按F8键(代表同意此协议),之后可以见到硬盘所有分区的信息列表,并且有中文的操作说明。
★选择C盘,按D键删除分区(之前记得先将C盘的有用文件做好备份),C盘的位置变成“未分区”,再在原C盘位置(即“未分区”位置)按C键创建分区(说明:如果以前的系统被病毒破坏了,并无法修复,建议把所有的硬盘全部删除,再重新分区,然后在安装完成后再格式化,这样可以彻底清除残留在硬盘中的病毒)。
★之后原C盘位置变成了“新的未使用”字样,按回车键继续。 接下来有可能出现格式化分区选项页面,推荐选择“用FAT32格式化分区(快)”。按回车键继续。
★系统开始格式化C盘,速度很快。格式化之后是分析硬盘和以前的WINDOWS操作系统,速度同样很快,随后是复制文件,大约需要8到13分钟不等(根据机器的配置决定)。 复制文件完成(100%)后,系统会自动重新启动,这时当再次见到Press qny key to boot from CD的时候,不需要按任何键,让系统从硬盘启动,因为安装文件的一部分已经复制到硬盘里了(注:此时光盘不可以取出)。
★出现蓝色背景的彩色XP安装界面,左侧有安装进度条和剩余时间显示,起始值为39分钟,也是根据机器的配置决定,现在配置较高的电脑的安装时间大约是15到20分钟。此时直到安装结束,计算机自动重启之前,除了输入序列号和计算机信息(随意填写),以及敲2到3次回车之外,不需要做任何其它操作。系统会自动完成安装。
3、安装驱动程序
(1)重启之后,将光盘取出,让计算机从硬盘启动,进入XP的设置窗口。
(2)依次按“下一步”,“跳过”,选择“不注册”,“完成”。
(3)进入XP系统桌面。在桌面上单击鼠标右键,选择“属性”,选择“显示”选项卡,点击“自定义桌面”项,勾选“我的电脑”,选择“确定”退出。
(4)返回桌面,右键单击“我的电脑”,选择“属性”,选择“硬件”选项卡,选择“设备管理器”,里面是计算机所有硬件的管理窗口,此中所有前面出现黄色问号+叹号的选项代表未安装驱动程序的硬件,双击打开其属性,选择“重新安装驱动程序”,放入相应当驱动光盘,选择“自动安装”,系统会自动识别对应当驱动程序并安装完成。(AUDIO为声卡,VGA为显卡,SM为主板,需要首先安装主板驱动,如没有SM项则代表不用安装)。后重启电脑即可。
其实,通过光盘的重装方法,win7和XP的步骤是大同小异的,很简单。不要怕动手,小编之前自己也买了一个光盘装过一次,虽然中间出现了一些小细节问题,但后还是自己顺利完成了。所以相信大家都是可以的!
如何把rdd数据写入hbase
1.在hbase中创建一个表
例如:create ’test’,’info’
2.配置环境
在hadoop的安装目录下找到hadoop.env.sh配置文件,将一文件加入到此配置文件中
(export HBASE_HOME=/usr/hbase
export HADOOP_CLASSPATH=$HBASE_HOME/hbase-0.94.12.jar:$HBASE_HOME/hbase-0.94.12-test.jar:$HBASE_HOME/conf:${HBASE_HOME}/lib/zookeeper-3.4.5.jar:${HBASE_HOME}/lib/guava-11.0.2.jar)
以上的配置文件可以不用配置,一但配置在启动hive时就会出错,需要另加配置。
然后拷贝jar包
将hbase的hbase-0.91.12.jar拷贝到haddoop的lib下,将hbase-0.94.12.tests.jar copy到hadoop的lib下
将hbase的配置文件hbase-site.xml文件拷贝到hadoop的conf下
3.重新启动hadoop
4.将所需要的文件上传到hdfs上,我用的eclipse上传的,大家也可以用hadoop fs -put test3.dat /application/logAnalyse/test/
5.在你安装的hbase的lib目录下执行一下的命令
hbase org.apache.hadoop.hbase.mapreduce.ImportTsv - Dimporttsv.columns=info:userid,HBASE_ROW_KEY,info:netid test2 /application/logAnalyse/test/test3.dat
或是
hbase org.apache.hadoop.hbase.mapreduce.ImportTsv - Dimporttsv.columns=HBASE_ROW_KEY,cf:c1,cf:c2 -Dimporttsv.separator=, test2 /application/logAnalyse/test/test3.txt
这样你去hbase执行scan ’test2’几可以看到已经有数据了
hbase 必须安装zookeep吗
HBase的安装包里面有自带zookeeper的。很多系统部署也是直接启动上面的zookeeper。
本来也是没有问题的,想想吧,系统里也只有hbase在用zookeeper。先启动zookeeper,再将hbase起来就好了HBase的安装包里面有自带zookeeper的。很多系统部署也是直接启动上面的zookeeper。
本来也是没有问题的,想想吧,系统里也只有hbase在用zookeeper。先启动zookeeper,再将hbase起来就好了
坑爹的Apache hbase 64位机装配Snappy终于成功了怎么解决
1.安装基本tool
yum install gcc c++, autoconf, automake, libtool, Java 6, J**A_HOME set, Maven 3,svn
yum Error: Cannot retrieve repository metadata (repomd.xml) for repository: xxxxx
sodu vim /etc/yum.repos.d/xxxxx.repo
将项中的enabled=1改为enabled=0
解决yum源的问题。
2.安装Snappy
下载snappy
***隐藏网址***
然后解压后,执行三步骤:
./configure
make
sudo make install
默认安装路径:/usr/local/lib下面
检查安装是否成功
ls /usr/local/lib/libsn*
3.安装hadoop-snappy
3.1下载hadoop-snappy源码
***隐藏网址***
3.2.安装hadoop-snappy
cd hadoop-snappy
mvn package
4.hadooo中部署snappy
解压hadoop-snappy-0.0.1-SNAPSHOT.tar.gz文件,会生成hadoop-snappy-0.0.1-SNAPSHOT目录,拷贝这个目录下相关文件到$HADOOP_HOME/lib/native/Linux-amd64-64
cp -r /hadoop-snappy-0.0.1-SNAPSHOT/lib/native/Linux-amd64-64/* $HADOOP_HOME/lib/native/Linux-amd64-64
将target目录下的hadoop-snappy-0.0.1-SNAPSHOT.jar拷贝到$HADOOP_HOME/lib/目录下。
修改三个文件:
hadoop-env.sh,增加内容如下:
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$HADOOP_HOME/lib/native/Linux-amd64-64/:/usr/local/lib/
修改core-site.xml文件,增加红色字体部分
《property》
《name》io.compression.codecs《/name》
《value》
org.apache.hadoop.io.compress.GzipCodec,
org.apache.hadoop.io.compress.DefaultCodec,
org.apache.hadoop.io.compress.BZip2Codec,
com.hadoop.compression.lzo.LzoCodec,
com.hadoop.compression.lzo.LzopCodec,
org.apache.hadoop.io.compress.SnappyCodec
《/value》
《/property》
5.往HBase中使用压缩方式
当hadoop的snappy配置成功后,配置hbase就很简单了,两个步骤:
第一步骤复制相关jar包
cp -r $HADOOP_HOME/lib/native/Linux-amd64-64/* $HBASE_HOME/lib/native/Linux-amd64-64/*
这里需要注意下,有些版本在安装过程中,没有这个Linux-amd64-64这个目录,需要手工创建下。
第二步骤配置hbase-env.sh环境变量
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$HADOOP_HOME/lib/native/Linux-amd64-64/:/usr/local/lib/
export HBASE_LIBRARY_PATH=$HBASE_LIBRARY_PATH:$HBASE_HOME/lib/native/Linux-amd64-64/:/usr/local/lib/
6、重启Hadoop、HBase 检查安装是否成功
cd $HBASE_HOME/bin
./hbase org.apache.hadoop.hbase.util.CompressionTest /tmp/testfile snappy
结果:Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
坑爹的Apache官网提供的是32位编译的,在64位服务器上会有问题。官方竟然没有提供64位版本,要使用得自己编译。
7.编译hadoop2.2.0
7.1 yum install cmake zlib1g-dev pkg-config libssl-dev
7.2 安装protobuf-2.5.0
很多博客的protobuf的安装都是****.不知道他们实践过没有,老是copy来copy去。
下载protobuf-2.5.0.tar.gz,解压。
sudo vim /etc/profile
#protobuf
export PROTOC_HOME=/opt/protobuf-2.5.0
export PATH=$PATH:$PROTOC_HOME/src
source /etc/profile
$protoc --version
libprotoc.2.5.0
ok就这样。根本不需要什么configure --prefix,make,make install这么麻烦,也不成功。
7.3 下载hadoop2.2.0源码
Download Hadoop sources.
Patch sources:
cd hadoop-2.2.0-src
***隐藏网址***
patch -p0 《 HADOOP-10110.patch
maven国外服务器可能连不上,maven配置一下国内镜像,在maven目录下,conf/settings.xml,在《mirrors》《/mirros》里添加,原本的不要动
《mirror》
《id》nexus-osc《/id》
《mirrorOf》*《/mirrorOf》
《name》Nexusosc《/name》
***隐藏网址***
《/mirror》
同样,在《profiles》《/profiles》内新添加
《profile》
《id》jdk-1.7《/id》
《activation》
《jdk》1.4《/jdk》
《/activation》
《repositories》
《repository》
《id》nexus《/id》
《name》local private nexus《/name》
***隐藏网址***
《releases》
《enabled》true《/enabled》
《/releases》
《snapshots》
《enabled》false《/enabled》
《/snapshots》
《/repository》
《/repositories》
《pluginRepositories》
《pluginRepository》
《id》nexus《/id》
《name》local private nexus《/name》
***隐藏网址***
《releases》
《enabled》true《/enabled》
《/releases》
《snapshots》
《enabled》false《/enabled》
《/snapshots》
《/pluginRepository》
《/pluginRepositories》
《/profile》
7.4 编译mvn package -Pdist,native -DskipTests -Dtar -rf :hadoop-common
编译完成了后,cd hadoop-2.2.0-src/hadoop-dist/target/hadoop-2.2.0
file 一下native下面的so文件
将 native/*再cp 到$hadoop_home/bin的各个data node的native/* 和native/Linux-amd64-64下。
重新运行测试,结果
CDH6.3.1 hue 配置hbase
对于hbase的可视化界面,目前比较好用的就是hue的了,刚好cdh自带了hue所以配置器来比较方便,这里记录一下配置步骤
按照这篇文章的配置已经后还需要进行HBase Thrift Server的配置
***隐藏网址***
在cdh管理界面依次点击HBase-》实例-》添加角色实例-》HBase Thrift Server 选择机器安装服务
勾选刚刚添加的HBase Thrift Server服务在已选定的操作中选择启动
之后在hue配置中搜索hbase 在HBase Thrift Server项中选择你刚才创建的服务就可以了。
急,急需要在vmware虚拟机的hadoop上安装运行hbase的截图
由图中可以看出,存储模块主要包括了ZooKeeper集群、HMaster、HRegionServer。
ZooKeeper:
Hbase是强依赖于ZooKeeper,我们读或写一个表的数据,都会优先访问ZooKeeper。
通常是集群中单独的3/5台服务器。
HMaster通常是Hadoop集群中的一台或两台(backup-Master)。
HRegionServer通常是Hadoop集群中的部分或全部
HRegionServer通常和datanode部署在同一台服务器上
比如datanode是10个
HRegionServer可以是10个或小于10个
2、hbase架构图重要组件的名称及作用
client:
读/写访问hbase的用户
ZooKeeper:
基于观察者模式监控master和regi***erver运行状态,保证hbase的高可用性,这是因为hbase是强依赖于ZooKeeper的。
存储了hbase的寻址入口
存储了hbase表的meta元数据表的位置信息
Meta也是一张表,meta表一般只有一个region
region存在哪台regi***erver上
meta元数据表存储了哪些信息:
一张表有哪些reigon
region分别分配到哪些regi***erve上r
每个reigon的startkey和stopkey的大小
master:
管理regi***erver并分配表的region给regi***erver
对集群的region的数量进行负载均衡管理
master会借助ZooKeeper感知regi***erver的上线和下线
master一般会有两台(backup-Master),保证master的高可用性
master不参与hbase表数据的读和写,负载通常比较低
master宕机一段时间内集群可以保持正常的读写
regi***erver:
管理所在服务器节点上的所有region
负责响应客户端的读写请求(IO)
三大机制(flush、compact、split)
Hlog:
预写日志
更多文章:
手机java代码大全(求J**A代码~~~~~~~~~~:编写一个应用抽象类的程序)
2026年4月17日 04:00
android spinner(android如何动态更新二级联动spinner)
2026年4月17日 03:40
header为什么会跳转错误(请教高手,php问题,为什么不能跳转呢)
2026年4月17日 03:00
div css菜鸟教程(CSS DIV 怎么做出来鼠标移动上就显示其内容)
2026年4月17日 01:20
linux编程常用软件(linux下哪种编程软件能快速上手)
2026年4月17日 01:00




