博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
hbase相关配置说明
阅读量:4980 次
发布时间:2019-06-12

本文共 2141 字,大约阅读时间需要 7 分钟。

1.hbase-env.sh

对于完全分布式HBase,通过hbase-site.xml文档来配置本机的HBase特性,通过hbase-env.sh来了解全局的HBase集群系统的特性。

 

2.配置/home/hadoop/hbase-1.0.3/conf/hbase-env.sh

export JAVA_HOME=/usr/java/jdk1.7.0_71/

export HBASE_HEAPSIZE=1G

export HBASE_LOG_DIR=${HBASE_HOME}/logs

export HBASE_PID_DIR=${HBASE_HOME}/pids

export HBASE_MANAGES_ZK=false

Hbase依赖一个zookeeper集群所有的节点和客户端都必须能够访问zookeeper。默认的情况下Hbase会管理一个zookeep集群。这个集群会随着Hbase的启动而启动。当然,你也可以自己管理一个zookeeper集群,但需要配置Hbase。你需要修改conf/hbase-env.sh里面的HBASE_MANAGES_ZK 来切换。这个值默认是true的,作用是让Hbase启动的时候同时也启动zookeeper.

Hbase使用一个现有的不被Hbase托管的Zookeep集群,需要设置 conf/hbase-env.sh文件中的HBASE_MANAGES_ZK 属性为 false

 
3.配置/home/hadoop/hbase-1.0.3/conf/ hbase-site.xml

hbase.rootdir:这个目 录是region server的共享目录,用来持久化Hbase。URL需要是'完全正确'的,还要包含文件系统的scheme。例如,要表示hdfs中的 '/hbase'目录,namenode 运行在node1的49002端口。则需要设置为hdfs://node1:49002/hbase。默认情况下Hbase是写到/tmp的。不改这个配 置,数据会在重启的时候丢失。默认: file:///tmp/hbase-${user.name}/hbase

hbase.cluster.distributedHbase的运行模式。false是单机模式,true是分布式模式。若为false,Hbase和Zookeeper会运行在同一个JVM里面。

默认: false

hbase-site.xml配置zookeeper:

Hbase管理zookeeper的时候,你可以通过修改zoo.cfg来配置zookeeper,

一个更加简单的方法是在 conf/hbase-site.xml里面修改zookeeper的配置。Zookeeer的配置是作为property写在 hbase-site.xml里面的。

对于zookeepr的配置,你至少要在 hbase-site.xml中列出zookeepr的ensemble servers,具体的字段是 hbase.zookeeper.quorum. 该这个字段的默认值是 localhost,这个值对于分布式应用显然是不可以的. (远程连接无法使用)。

hbase.zookeeper.property.clientPortZooKeeper的zoo.conf中的配置。 客户端连接的端口。

hbase.zookeeper.quorumZookeeper 集群的地址列表,用逗号分割。例 如:"host1.mydomain.com,host2.mydomain.com,host3.mydomain.com".默认是 localhost,是给伪分布式用的。要修改才能在完全分布式的情况下使用。如果在hbase-env.sh设置了HBASE_MANAGES_ZK, 这些ZooKeeper节点就会和Hbase一起启动。

默认: localhost

运行一个zookeeper也是可以的,但是在生产环境中,你最好部署3,5,7个节点。部署的越多,可靠性就 越高,当然只能部署奇数个,偶数个是不可以的。你需要给每个zookeeper 1G左右的内存,如果可能的话,最好有独立的磁盘。 (独立磁盘可以确保zookeeper是高性能的。).如果你的集群负载很重,不要把Zookeeper和RegionServer运行在同一台机器上 面。就像DataNodes 和 TaskTrackers一样

hbase.zookeeper.property.dataDirZooKeeper的zoo.conf中的配置。 快照的存储位置

按照zookeeper配置zoo.cfg中的dataLogDir=/home/hadoop/zookeeper-3.4.6/datalog路径配置即可

ZooKeeper保存数据的目录地址改掉。默认值是 /tmp ,这里在重启的时候会被操作系统删掉,可以把它修改到 /home/hadoop/zookeeper (这个路径hadoop用户拥有操作权限)

 

转载于:https://www.cnblogs.com/judylucky/p/5692147.html

你可能感兴趣的文章
内网Windows Server时间自动同步
查看>>
HDU - 3577 Fast Arrangement
查看>>
http与https的区别以及https的加密原理
查看>>
Vue 框架-03-键盘事件、健值修饰符、双向数据绑定
查看>>
Lumen如何生成APP_KEY
查看>>
隐式参数
查看>>
获取新闻详情类内容中的第一幅图片的方法
查看>>
深入浅出 Java Concurrency (38): 并发总结 part 2 常见的并发场景[转]
查看>>
NYOJ 28(大数阶乘)
查看>>
[转载]先验分布 vs. 后验分布 vs. 似然估计
查看>>
Vmware Pro 12 上安装CentOS 7 64
查看>>
re模块及其方法
查看>>
java--02--动态代理
查看>>
[zz]晴天。
查看>>
4款基于html5 canvas充满想象力的重力特效
查看>>
idea Library XXXXXXXX has broken classes paths
查看>>
ural 1864
查看>>
WPF 之 后台设置Image的Souce
查看>>
SpringBoot简易搭建
查看>>
How to describe the wind sprial in computer system?
查看>>