文件管理 · 2022年7月25日

hbase配置文件|hbase怎么查看配置文件

『壹』 hbase配置hfile.block.cache.size不生效

自动重启一般有两种情况。1、硬件故障或者硬件与硬 件冲突,硬件接触不良等。2、软件故障,软件与硬件冲突或软件 与软件冲突。?解决办法:1、硬件故障通常不 容易解决,因为有的原因 有可能是手机在生产过程中已经出现的问题,通常需要厂家质保。2、软件与软件冲突或者软 件与硬件冲突的解决,最简单的就是恢复出厂值,然后不安装任何软件的情况下观察手机 是否还有问题,如果有就不是软件问题,或者是手机厂家出厂就有软件问题,另外也可以刷不同的系 统观察手机是否有这种情况。

『贰』 hbase自带的zookeeper要配置吗

HBase的安装包里面有自带zookeeper的。很多系统部署也是直接启动上面的zookeeper。本来也是没有问题的,想想吧,系统里也只有hbase在用zookeeper。先启动zookeeper,再将hbase起来就好了?但是今天遇到了一个很蛋疼的问题。和同事争论了很久。?因为我们是好多hbase集群共用一个zookeeper的,其中一个集群需要从hbase 0.90.2 升级到hbase 0.92上,自然,包也要更新。但是其中一台regionserver上面同时也有跑zookeeper,而zookeeper还是用hbase 0.90.2 自带的zookeeper在跑。?现在好了,升级一个regionserver,连着zookeeper也要受到牵连,看来必须要重启,不然,jar包替换掉,可能会影响到zk正在跑的经常。但是重启zk毕竟对正在连接这个zk的client端会有短暂的影响。?真是蛋疼。本来只是升级hbase,zk却强耦合了。?虽然后来证明zookeeper只要启动了,哪怕jar包删除也不会影响到正在跑的zk进程,但是这样的不规范带来的风险,实在是没有必要。?所以作为运维,我强烈建议zk 和hbase分开部署,就直接部署官方的zk 好了,因为zk本身就是一个独立的服务,没有必要和hbase 耦合在一起。?在分布式的系统部署上面,一个角色就用一个专门的文件夹管理,不要用同一个目录下,这样子真的容易出问题。?当然datanode和tasktracker另当别论,他们本身关系密切。

『叁』 关于hbase的配置。

安装失败,先安装hadoop,hadoop安装好了再说hbase吧。查看下日志文件,在hadoop安装目录的log文件夹下

『肆』 hbase 怎么自动加载conf目录下配置文件的

查看源码,可以发现在new HbaseConfiguration对象时会加载conf目录下的配置文件

『伍』 hbase怎么用

HBase安装及简单使用

通过之前的hadoop0.20.2的安装并调试成功,接下来我们继续安装hbase0.90.5。在安装hbase0.90.5之前,因为hbase0.90.5只支持jdk1.6,所以,我把之前的jdk1.8卸载,重新安装了jdk1.6。

第一步:

首先需要下载hbase0.90.5.tar.gz,并解压到/home/hadoop/的目录下,同时将目录修改为hbase0.90.5

第二步:

替换hadoop核心jar包,主要母的是防止hbase和hadoop版本不同出现兼容问题,造成hmaster启动异常

将hbase0.90.5/lib目录中的hadoop-core-0.20-append-r1056497.jar包进行备份后删除,再将/home/hadoop/hadoop下面的hadoop-0.20.2-core.jar赋值到/home/hadoop/hbase0.90.5目录下即可

第三步:

编辑配置文件

①/home/hadoop/hbase0.90.5/conf/hbase-env.sh

我们对行键'1001'中列族info的列名age赋值24(1001:info:age=>24),插入两次,会将最后一次的值进行合并,其中,用时间戳来区分。从图片中的时间戳不同可以看出保存的是最后一次put的内容。

『陆』 phoenix建立索引时一定要配置hbase-site.xml吗

首先需要用到hbase的jar包,根据你选择使用的hbase版本来到官网下载;再者需要将hbase-site.xml文件配置制定hbase集群安装的机器相关配置,保证能够访问hbase集群;最后根据hbase包的api进行方法调用,具体代码不做详述。

『柒』 hbase怎么查看配置文件

hbase有本地模式和分布式模式hbase-site.xml配置hbase.tmp.dir本地文件系统tmp目录,一般配置成local模式的设置一下,但是最好还是需要设置一下,因为很多文件都会默认设置成它下面的线上配置<property><name>hbase.tmp.dir</name><value>/mnt/路径</value></property>默认值:${java.io.tmpdir}/hbase-${user.name}写到系统的/tmp目录hbase.rootdirHBase集群中所有RegionServer共享目录,用来持久化HBase的数据,一般设置的是hdfs的文件目录,如hdfs://master:9000/hbasedata线上配置<property><name>hbase.rootdir</name><value>hdfs://master:9000/hbasedata</value></property>默认值:${hbase.tmp.dir}/hbasehbase.cluster.distributed集群的模式,分布式还是单机模式,如果设置成false的话,HBase进程和Zookeeper进程在同一个JVM进程。线上配置为true默认值:falsehbase.zookeeper.quorumzookeeper集群的URL配置,多个host中间用逗号分割线上配置<property><name>hbase.zookeeper.quorum</name><value>master,slave,slave1</value></property>默认值:localhosthbase.zookeeper.property.dataDirZooKeeper的zoo.conf中的配置。 快照的存储位置线上配置:/home/hadoop/zookeeperData默认值:${hbase.tmp.dir}/zookeeperzookeeper.session.timeout客户端与zk连接超时时间线上配置:1200000(20min)默认值:180000(3min)hbase.zookeeper.property.tickTimeClient端与zk发送心跳的时间间隔线上配置:6000(6s)默认值:6000hbase.security.authenticationHBase集群安全认证机制,目前的版本只支持kerberos安全认证。线上配置:kerberos默认值:空hbase.security.authorizationHBase是否开启安全授权机制线上配置: true默认值: falsehbase.regionserver.kerberos.principalregionserver的kerberos认证的主体名称(由三部分组成:服务或用户名称、实例名称以及域名)线上配置:hbase/[email protected]默认:无hbase.regionserver.keytab.fileregionserver keytab文件路径线上配置:/home/hadoop/etc/conf/hbase.keytab默认值:无hbase.master.kerberos.principalmaster的kerberos认证的主体名称(由三部分组成:服务或用户名称、实例名称以及域名)线上配置:hbase/[email protected]默认:无hbase.master.keytab.filemaster keytab文件路径线上配置:/home/hadoop/etc/conf/hbase.keytab默认值:无hbase.regionserver.handler.countregionserver处理IO请求的线程数线上配置:50默认配置:10hbase.regionserver.global.memstore.upperLimitRegionServer进程block进行flush触发条件:该节点上所有region的memstore之和达到upperLimit*heapsize线上配置:0.45默认配置:0.4hbase.regionserver.global.memstore.lowerLimitRegionServer进程触发flush的一个条件:该节点上所有region的memstore之和达到lowerLimit*heapsize线上配置:0.4默认配置:0.35hbase.client.write.buffer客户端写buffer,设置autoFlush为false时,当客户端写满buffer才flush线上配置:8388608(8M)默认配置:2097152(2M)hbase.hregion.max.filesize单个ColumnFamily的region大小,若按照ConstantSizeRegionSplitPolicy策略,超过设置的该值则自动split线上配置:107374182400(100G)默认配置:21474836480(20G)hbase.hregion.memstore.block.multiplier超过memstore大小的倍数达到该值则block所有写入请求,自我保护线上配置:8(内存够大可以适当调大一些,出现这种情况需要客户端做调整)默认配置:2hbase.hregion.memstore.flush.sizememstore大小,当达到该值则会flush到外存设备线上配置:104857600(100M)默认值: 134217728(128M)hbase.hregion.memstore.mslab.enabled是否开启mslab方案,减少因内存碎片导致的Full GC,提高整体性能线上配置:true默认配置: truehbase.regionserver.maxlogsregionserver的hlog数量线上配置:128默认配置:32hbase.regionserver.hlog.blocksizehlog大小上限,达到该值则block,进行roll掉线上配置:536870912(512M)默认配置:hdfs配置的block大小hbase.hstore.compaction.min进入minor compact队列的storefiles最小个数线上配置:10默认配置:3hbase.hstore.compaction.max单次minor compact最多的文件个数线上配置:30默认配置:10hbase.hstore.blockingStoreFiles当某一个region的storefile个数达到该值则block写入,等待compact线上配置:100(生产环境可以设置得很大)默认配置: 7hbase.hstore.blockingWaitTimeblock的等待时间线上配置:90000(90s)默认配置:90000(90s)hbase.hregion.majorcompaction触发major compact的周期线上配置:0(关掉major compact)默认配置:86400000(1d)hbase.regionserver.thread.compaction.largelarge compact线程池的线程个数线上配置:5默认配置:1hbase.regionserver.thread.compaction.smallsmall compact线程池的线程个数线上配置:5默认配置:1hbase.regionserver.thread.compaction.throttlecompact(major和minor)请求进入large和small compact线程池的临界点线上配置:10737418240(10G)默认配置:2 * this.minFilesToCompact * this.region.memstoreFlushSizehbase.hstore.compaction.max.sizeminor compact队列中storefile文件最大size线上配置:21474836480(20G)默认配置:Long.MAX_VALUEhbase.rpc.timeoutRPC请求timeout时间线上配置:300000(5min)默认配置:60000(10s)hbase.regionserver.region.split.policysplit操作默认的策略线上配置: org.apache.hadoop.hbase.regionserver.ConstantSizeRegionSplitPolicy(采取老的策略,自己控制split)默认配置: org.apache.hadoop.hbase.regionserver.(在region没有达到maxFileSize的前提下,如果fileSize达到regionCount * regionCount * flushSize则进行split操作)hbase.regionserver.regionSplitLimit单台RegionServer上region数上限线上配置:150默认配置:2147483647hbase-env.sh配置指定系统运行环境export JAVA_HOME=/usr/lib/jvm/java-6-sun/ #JDK HOMEexport HBASE_HOME=/home/hadoop/cdh4/hbase-0.94.2-cdh4.2.1 # HBase 安装目录export HBASE_LOG_DIR=/mnt/dfs/11/hbase/hbase-logs #日志输出路径JVM参数调优export HBASE_OPTS="-verbose:gc -XX:+PrintGCDetails -Xloggc:${HBASE_LOG_DIR}/hbase-gc.log -XX:+PrintGCTimeStamps -XX:+ -XX:+PrintGCApplicationStoppedTime \-server -Xmx20480m -Xms20480m -Xmn10240m -Xss256k -XX:SurvivorRatio=4 -XX:MaxPermSize=256m -XX:MaxTenuringThreshold=15 \-XX:ParallelGCThreads=16 -XX:+UseConcMarkSweepGC -XX:+UseParNewGC -XX:CMSFullGCsBeforeCompaction=5 -XX:+UseCMSCompactAtFullCollection \-XX:+CMSClassUnloadingEnabled -XX:=70 -XX:+UseCMSInitiatingOccupancyOnly -XX:CMSMaxAbortablePrecleanTime=5000 \"

『捌』 独立的HBase实例解压缩,解压错误问题,怎么解决

下载hbase的安装包,hbase和底层的hdoop有一定的关联适配关系,应可能下载相配套的版本,可以少走很多弯路,下载后传到预定为hbase master的主机上。小编的版本比较老,hadoop为0.20.2,hbase是0.95.5