文件管理 · 2022年7月25日

hbase配置文件详解|hbase怎么查看配置文件

『壹』 下面对hbase的描述哪些是正确的

标准的RHEL 6安装会默认安装SSH程序。虽然默认情况下防火墙是激活的,但是标准RHEL 6防火墙将端口22处于开着状态以允许SSH访问。相关的配置文件保存在/etc/ss目录中。SSH服务器的详细配置属于RHCE考试的范围。相关的客户端命令有scp和sftp,它们都要在本节中介绍。 SSH守护程序是安全的,因为它对消息进行加密。换言之,侦听网络的用户读不到SSH客户端与服务器之间传递的消息,这在像Internet这样公共网络中是非常必要的。RHEL 加入SSH 版本2,SSH 2是SSH 1的增强版,前者包含了密钥交换算法

『贰』 hbase配置hfile.block.cache.size不生效

自动重启一般有两种情况。1、硬件故障或者硬件与硬 件冲突,硬件接触不良等。2、软件故障,软件与硬件冲突或软件 与软件冲突。?解决办法:1、硬件故障通常不 容易解决,因为有的原因 有可能是手机在生产过程中已经出现的问题,通常需要厂家质保。2、软件与软件冲突或者软 件与硬件冲突的解决,最简单的就是恢复出厂值,然后不安装任何软件的情况下观察手机 是否还有问题,如果有就不是软件问题,或者是手机厂家出厂就有软件问题,另外也可以刷不同的系 统观察手机是否有这种情况。

『叁』 hbase怎么用

HBase安装及简单使用

通过之前的hadoop0.20.2的安装并调试成功,接下来我们继续安装hbase0.90.5。在安装hbase0.90.5之前,因为hbase0.90.5只支持jdk1.6,所以,我把之前的jdk1.8卸载,重新安装了jdk1.6。

第一步:

首先需要下载hbase0.90.5.tar.gz,并解压到/home/hadoop/的目录下,同时将目录修改为hbase0.90.5

第二步:

替换hadoop核心jar包,主要母的是防止hbase和hadoop版本不同出现兼容问题,造成hmaster启动异常

将hbase0.90.5/lib目录中的hadoop-core-0.20-append-r1056497.jar包进行备份后删除,再将/home/hadoop/hadoop下面的hadoop-0.20.2-core.jar赋值到/home/hadoop/hbase0.90.5目录下即可

第三步:

编辑配置文件

①/home/hadoop/hbase0.90.5/conf/hbase-env.sh

我们对行键'1001'中列族info的列名age赋值24(1001:info:age=>24),插入两次,会将最后一次的值进行合并,其中,用时间戳来区分。从图片中的时间戳不同可以看出保存的是最后一次put的内容。

『肆』 关于hbase的问题,开启hbase后一会hmaster和hregionserver就没了

一、通常向HBase批量导入数据有三种常用方式1、使用HBase提供的TableOutputFormat,原理是通过一个Maprece作业将数据导入HBase2、还有一种方式就是使用HBase原生Client API(put)3、前两种方式因为须要频繁的与数据所存储的RegionServer通信。一次性入库大量数据时,特别占用资源,所以都不是很有效。因为HBase在HDFS中是以HFile文件结构存储的,所以高效便捷的方法就是直接生成HFile文件然后使用Bulk Load方法,即HBase提供的HFileOutputFormat类。二、Bulk Load基本原理Bulk Load处理由两个主要步骤组成:1、生成HFile文件Bulk Load的第一步会执行一个Maprece作业,其中使用到了HFileOutputFormat输出HBase数据文件:StoreFile。HFileOutputFormat的作用在于使得输出的HFile文件能够适应单个region。使用TotalOrderPartitioner类将map输出结果分区到各个不同的key区间中,每一个key区间都相应着HBase表的region。2、导入HBase表第二步使用completebulkload工具将第一步的结果文件依次交给负责文件相应region的RegionServer,并将文件move到region在HDFS上的存储文件夹中。一旦完毕。将数据开放给clients。假设在bulk load准备导入或在准备导入与完毕导入的临界点上发现region的边界已经改变,completebulkload工具会自己主动split数据文件到新的边界上。可是这个过程并非最佳实践,所以用户在使用时须要最小化准备导入与导入集群间的延时,特别是当其它client在同一时候使用其它工具向同一张表导入数据。Bulk Load常遇到的一个ERROR:”java.io.IOException: Retry attempted 10 times without completing, ling out”错误解析:我们使用的Hbase1.0.2版本下,如果Hfile文件 跨越多个region,bulkload会自动地将Hfile文件split,但是对于每次retry只会将指定的Hfile文件split一次。但是在hbase-site.xml配置文件里有个参数hbase.bulkload.retries.number控制了hbase对一个hfile最多plit多少次。这个参数默认是10,如果某个hfile跨越的region数超过10个就会报上述Exception。解决方案:将hbase.bulkload.retries.number这个参数设置为更大的值,比如目标表的region数量或者将这个参数设置成0,0表示不断重试直到成功。设置之后问题解决。

『伍』 hbase 怎么自动加载conf目录下配置文件的

查看源码,可以发现在new HbaseConfiguration对象时会加载conf目录下的配置文件

『陆』 hbase自带的zookeeper要配置吗

HBase的安装包里面有自带zookeeper的。很多系统部署也是直接启动上面的zookeeper。本来也是没有问题的,想想吧,系统里也只有hbase在用zookeeper。先启动zookeeper,再将hbase起来就好了?但是今天遇到了一个很蛋疼的问题。和同事争论了很久。?因为我们是好多hbase集群共用一个zookeeper的,其中一个集群需要从hbase 0.90.2 升级到hbase 0.92上,自然,包也要更新。但是其中一台regionserver上面同时也有跑zookeeper,而zookeeper还是用hbase 0.90.2 自带的zookeeper在跑。?现在好了,升级一个regionserver,连着zookeeper也要受到牵连,看来必须要重启,不然,jar包替换掉,可能会影响到zk正在跑的经常。但是重启zk毕竟对正在连接这个zk的client端会有短暂的影响。?真是蛋疼。本来只是升级hbase,zk却强耦合了。?虽然后来证明zookeeper只要启动了,哪怕jar包删除也不会影响到正在跑的zk进程,但是这样的不规范带来的风险,实在是没有必要。?所以作为运维,我强烈建议zk 和hbase分开部署,就直接部署官方的zk 好了,因为zk本身就是一个独立的服务,没有必要和hbase 耦合在一起。?在分布式的系统部署上面,一个角色就用一个专门的文件夹管理,不要用同一个目录下,这样子真的容易出问题。?当然datanode和tasktracker另当别论,他们本身关系密切。

『柒』 关于hbase的配置。

安装失败,先安装hadoop,hadoop安装好了再说hbase吧。查看下日志文件,在hadoop安装目录的log文件夹下

『捌』 hbase怎么查看配置文件

hbase有本地模式和分布式模式hbase-site.xml配置hbase.tmp.dir本地文件系统tmp目录,一般配置成local模式的设置一下,但是最好还是需要设置一下,因为很多文件都会默认设置成它下面的线上配置<property><name>hbase.tmp.dir</name><value>/mnt/路径</value></property>默认值:${java.io.tmpdir}/hbase-${user.name}写到系统的/tmp目录hbase.rootdirHBase集群中所有RegionServer共享目录,用来持久化HBase的数据,一般设置的是hdfs的文件目录,如hdfs://master:9000/hbasedata线上配置<property><name>hbase.rootdir</name><value>hdfs://master:9000/hbasedata</value></property>默认值:${hbase.tmp.dir}/hbasehbase.cluster.distributed集群的模式,分布式还是单机模式,如果设置成false的话,HBase进程和Zookeeper进程在同一个JVM进程。线上配置为true默认值:falsehbase.zookeeper.quorumzookeeper集群的URL配置,多个host中间用逗号分割线上配置<property><name>hbase.zookeeper.quorum</name><value>master,slave,slave1</value></property>默认值:localhosthbase.zookeeper.property.dataDirZooKeeper的zoo.conf中的配置。 快照的存储位置线上配置:/home/hadoop/zookeeperData默认值:${hbase.tmp.dir}/zookeeperzookeeper.session.timeout客户端与zk连接超时时间线上配置:1200000(20min)默认值:180000(3min)hbase.zookeeper.property.tickTimeClient端与zk发送心跳的时间间隔线上配置:6000(6s)默认值:6000hbase.security.authenticationHBase集群安全认证机制,目前的版本只支持kerberos安全认证。线上配置:kerberos默认值:空hbase.security.authorizationHBase是否开启安全授权机制线上配置: true默认值: falsehbase.regionserver.kerberos.principalregionserver的kerberos认证的主体名称(由三部分组成:服务或用户名称、实例名称以及域名)线上配置:hbase/[email protected]默认:无hbase.regionserver.keytab.fileregionserver keytab文件路径线上配置:/home/hadoop/etc/conf/hbase.keytab默认值:无hbase.master.kerberos.principalmaster的kerberos认证的主体名称(由三部分组成:服务或用户名称、实例名称以及域名)线上配置:hbase/[email protected]默认:无hbase.master.keytab.filemaster keytab文件路径线上配置:/home/hadoop/etc/conf/hbase.keytab默认值:无hbase.regionserver.handler.countregionserver处理IO请求的线程数线上配置:50默认配置:10hbase.regionserver.global.memstore.upperLimitRegionServer进程block进行flush触发条件:该节点上所有region的memstore之和达到upperLimit*heapsize线上配置:0.45默认配置:0.4hbase.regionserver.global.memstore.lowerLimitRegionServer进程触发flush的一个条件:该节点上所有region的memstore之和达到lowerLimit*heapsize线上配置:0.4默认配置:0.35hbase.client.write.buffer客户端写buffer,设置autoFlush为false时,当客户端写满buffer才flush线上配置:8388608(8M)默认配置:2097152(2M)hbase.hregion.max.filesize单个ColumnFamily的region大小,若按照ConstantSizeRegionSplitPolicy策略,超过设置的该值则自动split线上配置:107374182400(100G)默认配置:21474836480(20G)hbase.hregion.memstore.block.multiplier超过memstore大小的倍数达到该值则block所有写入请求,自我保护线上配置:8(内存够大可以适当调大一些,出现这种情况需要客户端做调整)默认配置:2hbase.hregion.memstore.flush.sizememstore大小,当达到该值则会flush到外存设备线上配置:104857600(100M)默认值: 134217728(128M)hbase.hregion.memstore.mslab.enabled是否开启mslab方案,减少因内存碎片导致的Full GC,提高整体性能线上配置:true默认配置: truehbase.regionserver.maxlogsregionserver的hlog数量线上配置:128默认配置:32hbase.regionserver.hlog.blocksizehlog大小上限,达到该值则block,进行roll掉线上配置:536870912(512M)默认配置:hdfs配置的block大小hbase.hstore.compaction.min进入minor compact队列的storefiles最小个数线上配置:10默认配置:3hbase.hstore.compaction.max单次minor compact最多的文件个数线上配置:30默认配置:10hbase.hstore.blockingStoreFiles当某一个region的storefile个数达到该值则block写入,等待compact线上配置:100(生产环境可以设置得很大)默认配置: 7hbase.hstore.blockingWaitTimeblock的等待时间线上配置:90000(90s)默认配置:90000(90s)hbase.hregion.majorcompaction触发major compact的周期线上配置:0(关掉major compact)默认配置:86400000(1d)hbase.regionserver.thread.compaction.largelarge compact线程池的线程个数线上配置:5默认配置:1hbase.regionserver.thread.compaction.smallsmall compact线程池的线程个数线上配置:5默认配置:1hbase.regionserver.thread.compaction.throttlecompact(major和minor)请求进入large和small compact线程池的临界点线上配置:10737418240(10G)默认配置:2 * this.minFilesToCompact * this.region.memstoreFlushSizehbase.hstore.compaction.max.sizeminor compact队列中storefile文件最大size线上配置:21474836480(20G)默认配置:Long.MAX_VALUEhbase.rpc.timeoutRPC请求timeout时间线上配置:300000(5min)默认配置:60000(10s)hbase.regionserver.region.split.policysplit操作默认的策略线上配置: org.apache.hadoop.hbase.regionserver.ConstantSizeRegionSplitPolicy(采取老的策略,自己控制split)默认配置: org.apache.hadoop.hbase.regionserver.(在region没有达到maxFileSize的前提下,如果fileSize达到regionCount * regionCount * flushSize则进行split操作)hbase.regionserver.regionSplitLimit单台RegionServer上region数上限线上配置:150默认配置:2147483647hbase-env.sh配置指定系统运行环境export JAVA_HOME=/usr/lib/jvm/java-6-sun/ #JDK HOMEexport HBASE_HOME=/home/hadoop/cdh4/hbase-0.94.2-cdh4.2.1 # HBase 安装目录export HBASE_LOG_DIR=/mnt/dfs/11/hbase/hbase-logs #日志输出路径JVM参数调优export HBASE_OPTS="-verbose:gc -XX:+PrintGCDetails -Xloggc:${HBASE_LOG_DIR}/hbase-gc.log -XX:+PrintGCTimeStamps -XX:+ -XX:+PrintGCApplicationStoppedTime \-server -Xmx20480m -Xms20480m -Xmn10240m -Xss256k -XX:SurvivorRatio=4 -XX:MaxPermSize=256m -XX:MaxTenuringThreshold=15 \-XX:ParallelGCThreads=16 -XX:+UseConcMarkSweepGC -XX:+UseParNewGC -XX:CMSFullGCsBeforeCompaction=5 -XX:+UseCMSCompactAtFullCollection \-XX:+CMSClassUnloadingEnabled -XX:=70 -XX:+UseCMSInitiatingOccupancyOnly -XX:CMSMaxAbortablePrecleanTime=5000 \"