hbase列名过滤

㈠ HBase是什么呢，都有哪些特点呢

Hbase是一种NoSQL数据库，这意味着它不像传统的RDBMS数据库那样支持SQL作为查询语言。Hbase是一种分布式存储的数据库，技术上来讲，它更像是分布式存储而不是分布式数据库，它缺少很多RDBMS系统的特性，比如列类型，辅助索引，触发器，和高级查询语言等待

那Hbase有什么特性呢？如下：

• 强读写一致，但是不是“最终一致性”的数据存储，这使得它非常适合高速的计算聚合

• 自动分片，通过Region分散在集群中，当行数增长的时候，Region也会自动的切分和再分配

• 自动的故障转移

• Hadoop/HDFS集成，和HDFS开箱即用，不用太麻烦的衔接

• 丰富的“简洁，高效”API，Thrift/REST API，Java API

• 块缓存，布隆过滤器，可以高效的列查询优化

• 操作管理，Hbase提供了内置的web界面来操作，还可以监控JMX指标

什么时候用Hbase？

Hbase不适合解决所有的问题：

• 首先数据库量要足够多，如果有十亿及百亿行数据，那么Hbase是一个很好的选项，如果只有几百万行甚至不到的数据量，RDBMS是一个很好的选择。因为数据量小的话，真正能工作的机器量少，剩余的机器都处于空闲的状态

• 其次，如果你不需要辅助索引，静态类型的列，事务等特性，一个已经用RDBMS的系统想要切换到Hbase，则需要重新设计系统。

• 最后，保证硬件资源足够，每个HDFS集群在少于5个节点的时候，都不能表现的很好。因为HDFS默认的复制数量是3，再加上一个NameNode。

Hbase在单机环境也能运行，但是请在开发环境的时候使用。

内部应用

• 存储业务数据:车辆GPS信息，司机点位信息，用户操作信息，设备访问信息。。。

• 存储日志数据:架构监控数据（登录日志，中间件访问日志，推送日志，短信邮件发送记录。。。），业务操作日志信息

• 存储业务附件：UDFS系统存储图像，视频，文档等附件信息

不过在公司使用的时候，一般不使用原生的Hbase API，使用原生的API会导致访问不可监控，影响系统稳定性，以致于版本升级的不可控。

HFile

HFile是Hbase在HDFS中存储数据的格式，它包含多层的索引，这样在Hbase检索数据的时候就不用完全的加载整个文件。索引的大小(keys的大小，数据量的大小)影响block的大小，在大数据集的情况下，block的大小设置为每个RegionServer 1GB也是常见的。

探讨数据库的数据存储方式，其实就是探讨数据如何在磁盘上进行有效的组织。因为我们通常以如何高效读取和消费数据为目的，而不是数据存储本身。

Hfile生成方式

起初，HFile中并没有任何Block，数据还存在于MemStore中。

Flush发生时，创建HFile Writer，第一个空的Data Block出现，初始化后的Data Block中为Header部分预留了空间，Header部分用来存放一个Data Block的元数据信息。

而后，位于MemStore中的KeyValues被一个个append到位于内存中的第一个Data Block中：

注：如果配置了Data Block Encoding，则会在Append KeyValue的时候进行同步编码，编码后的数据不再是单纯的KeyValue模式。Data Block Encoding是HBase为了降低KeyValue结构性膨胀而提供的内部编码机制。

㈡ 简述通过Apache+HBase+API进行表过滤器应用的理解

摘要 过滤器是HBase为客户端提供的一种高级API，是HBase的一种高级特性，它提供了非常强大的功能帮助用户处理表中的数据。HBase中读取数据的API主要是get()和scan()，它们都支持直接读取数据和通过指定起始行健访问数据的功能，可以通过添加限定条件如列族、列、时间戳等来限制查询的数量，但是它们缺少一种细粒度的的筛选功能，比如基于正则表达式的筛选。由此诞生过滤器，Get类和Scan类都支持过滤器，通过方法setFilter(Filter filter)可以设置查询时的过滤器。

㈢ 求教：怎样用hbase过滤器实现，一个列多列值

HBase为筛选数据提供了一组过滤器，通过这个过滤器可以在HBase中的数据的多回个维度（行，列，数据版本答）上进行对数据的筛选操作，也就是说过滤器最终能够筛选的数据能够细化到具体的一个存储单元格上（由行键，列明，时间戳定位）。

㈣ hbase shell 中有版本过滤器吗

进入hbase shell console
$HBASE_HOME/bin/hbase shell
如果有kerberos认证，需要事先使用相应的keytab进行一下认证（使用kinit命令），认证成功之后再使用hbase shell进入可以使用whoami命令可查看当前用户！

㈤ hbase的过滤器有哪些

HBase为筛选数据提供了一组过滤器，通过这个过滤器可以在中的数据的多个维度（行，列，数据版本）上进行对数据的筛选操作，也就是说过滤器最终能够筛选的数据能够细化到具体的一个存储单元格上（由行键，列明，时间戳定位）。通常来说，通过行键，值来筛选数据的应用场景较多。

1. RowFilter：筛选出匹配的所有的行，对于这个过滤器的应用场景，是非常直观的：使用BinaryComparator可以筛选出具有某个行键的行，或者通过改变比较运算符（下面的例子中是CompareFilter.CompareOp.EQUAL）来筛选出符合某一条件的多条数据，以下就是筛选出行键为row1的一行数据：

[java]view plain

• Filterrf=newRowFilter(CompareFilter.CompareOp.EQUAL,newBinaryComparator(Bytes.toBytes("row1")));//OK筛选出匹配的所有的行



• 2.PrefixFilter：筛选出具有特定前缀的行键的数据。这个过滤器所实现的功能其实也可以由RowFilter结合RegexComparator来实现，不过这里提供了一种简便的使用方法，以下过滤器就是筛选出行键以row为前缀的所有的行：

[java]view plain

• Filterpf=newPrefixFilter(Bytes.toBytes("row"));//OK筛选匹配行键的前缀成功的行



• 3.KeyOnlyFilter：这个过滤器唯一的功能就是只返回每行的行键，值全部为空，这对于只关注于行键的应用场景来说非常合适，这样忽略掉其值就可以减少传递到客户端的数据量，能起到一定的优化作用：

[java]view plain

• Filterkof=newKeyOnlyFilter();//OK返回所有的行，但值全是空



• 4.RandomRowFilter：从名字上就可以看出其大概的用法，本过滤器的作用就是按照一定的几率（<=0会过滤掉所有的行，>=1会包含所有的行）来返回随机的结果集，对于同样的数据集，多次使用同一个RandomRowFilter会返回不通的结果集，对于需要随机抽取一部分数据的应用场景，可以使用此过滤器：

[java]view plain

• Filterrrf=newRandomRowFilter((float)0.8);//OK随机选出一部分的行



• 5.InclusiveStopFilter：扫描的时候，我们可以设置一个开始行键和一个终止行键，默认情况下，这个行键的返回是前闭后开区间，即包含起始行，但不包含终止行，如果我们想要同时包含起始行和终止行，那么我们可以使用此过滤器：

[java]view plain

• Filterisf=newInclusiveStopFilter(Bytes.toBytes("row1"));//OK包含了扫描的上限在结果之内



• 6.FirstKeyOnlyFilter：如果你只想返回的结果集中只包含第一列的数据，那么这个过滤器能够满足你的要求。它在找到每行的第一列之后会停止扫描，从而使扫描的性能也得到了一定的提升：

[java]view plain

• Filterfkof=newFirstKeyOnlyFilter();//OK筛选出第一个每个第一个单元格



• 7.ColumnPrefixFilter：顾名思义，它是按照列名的前缀来筛选单元格的，如果我们想要对返回的列的前缀加以限制的话，可以使用这个过滤器：

[java]view plain

• Filtercpf=newColumnPrefixFilter(Bytes.toBytes("qual1"));//OK筛选出前缀匹配的列



• 8.ValueFilter：按照具体的值来筛选单元格的过滤器，这会把一行中值不能满足的单元格过滤掉，如下面的构造器，对于每一行的一个列，如果其对应的值不包含ROW2_QUAL1，那么这个列就不会返回给客户端：

[java]view plain

• Filtervf=newValueFilter(CompareFilter.CompareOp.EQUAL,newSubstringComparator("ROW2_QUAL1"));//OK筛选某个（值的条件满足的）特定的单元格



• 9.ColumnCountGetFilter：这个过滤器来返回每行最多返回多少列，并在遇到一行的列数超过我们所设置的限制值的时候，结束扫描操作：

[java]view plain

• Filterccf=newColumnCountGetFilter(2);//OK如果突然发现一行中的列数超过设定的最大值时，整个扫描操作会停止



• 10.SingleColumnValueFilter：用一列的值决定这一行的数据是否被过滤。在它的具体对象上，可以调用setFilterIfMissing(true)或者setFilterIfMissing(false)，默认的值是false，其作用是，对于咱们要使用作为条件的列，如果这一列本身就不存在，那么如果为true，这样的行将会被过滤掉，如果为false，这样的行会包含在结果集中。

[java]view plain

• SingleColumnValueFilterscvf=newSingleColumnValueFilter(

• Bytes.toBytes("colfam1"),

• Bytes.toBytes("qual2"),

• CompareFilter.CompareOp.NOT_EQUAL,

• newSubstringComparator("BOGUS"));

• scvf.setFilterIfMissing(false);

• scvf.setLatestVersionOnly(true);//OK



• 11.：这个与10种的过滤器唯一的区别就是，作为筛选条件的列的不会包含在返回的结果中。

12.SkipFilter：这是一种附加过滤器，其与ValueFilter结合使用，如果发现一行中的某一列不符合条件，那么整行就会被过滤掉：

[java]view plain

• Filterskf=newSkipFilter(vf);//OK发现某一行中的一列需要过滤时，整个行就会被过滤掉



• 13.WhileMatchFilter：这个过滤器的应用场景也很简单，如果你想要在遇到某种条件数据之前的数据时，就可以使用这个过滤器；当遇到不符合设定条件的数据的时候，整个扫描也就结束了：

• Filterwmf=newWhileMatchFilter(rf);//OK类似于Pythonitertools中的takewhile



• 14.FilterList：用于综合使用多个过滤器。其有两种关系：FilterList.Operator.MUST_PASS_ONE和FilterList.Operator.MUST_PASS_ALL，默认的是FilterList.Operator.MUST_PASS_ALL，顾名思义，它们分别是AND和OR的关系，并且FilterList可以嵌套使用FilterList，使我们能够表达更多的需求：

• List<Filter>filters=newArrayList<Filter>();

• filters.add(rf);

• filters.add(vf);

• FilterListfl=newFilterList(FilterList.Operator.MUST_PASS_ALL,filters);//OK综合使用多个过滤器，AND和OR两种关系

㈥ hbase 多条件查询or 怎么过滤掉不需要查的列

hbase的region是按行划分，而非按列，如果你读取指定一行的所有列数据，regionServer虽然无法保证你的所有数据都在一个HFile中，但是至少是在一个Region中。但是具体的HFile所在的hdfs的节点那就不是HBase关心的事了，因为HBase的存储是依赖与hdfs，所以底层存储读取的事会由NameNode操心，NameNode会考虑就近原则，而提供最高效的数据读取策略。
你的数据传输是必然，但是HBase不会计算，计算是发生在你将想要的数据获取到之后再自行进行计算的。你读取大量数据必然会有大量数据传输，HBase只是将提供了一种高效的数据读取策略，尽量减小数据传输量

㈦ hbase中rowkey设置问题。

主键设计成：现有的主键+频度+列，即h+1+hi，但是最好将每个都格式化成定长的字符串，当你需要取前5个记录时使用过滤器取出前5条记录即可。大体如此，具体细节可能还需要好好设计

㈧ hbase中怎么用java来过滤字段

hbase提供了ListFilter过滤Listfilters=newArraList();Filterf1=newRowFilter();Filterf2=newAualifierFilter(.);filters.add(f1);filters.add(f2);FilterListfilterList=newFilterList(filters);Scan

㈨ hbase在服务端过滤好还是在客户端过滤好

进入hbase shell console $HBASE_HOME/bin/hbase shell 如果有kerberos认证，需要事先使用相应的keytab进行一下认证（使用kinit命令），认证成功之后再使用hbase shell进入可以使用whoami命令可查看当前用户！

㈩ shell怎样过滤掉hbase-site.xml文件中的注释项

hbase接到命令后存下变化信息或者写入失败异常的抛出，默认情况下。执行写入时会写到两个地方：预写式日志（write-ahead log,也称hlog）和memstore,以保证数据持久化。memstore是内存里的写入缓冲区。客户端在写的过程中不会与底层的hfile直接交互，当menstore写满时，会刷新到硬盘，生成一个新的hfile.hfile是hbase使用的底层存储格式。menstore的大小由hbase-site.xml文件里的系统级属性hbase.hregion.memstore.flush.size来定义。
hbase在读操作上使用了lru缓存机制（blockcache），blockcache设计用来保存从hfile里读入内存的频繁访问的数据，避免硬盘读。每个列族都有自己的blockcache。blockcache中的block是hbase从硬盘完成一次读取的数据单位。block是建立索引的最小数据单位，也是从硬盘读取的最小数据单位。如果主要用于随机查询，小一点的block会好一些，但是会导致索引变大，消耗更多内存，如果主要执行顺序扫描，大一点的block会好一些，block变大索引项变小，因此节省内存。
LRU是Least Recently Used 近期最少使用算法。内存管理的一种页面置换算法，对于在内存中但又不用的数据块（内存块）叫做LRU，操作系统会根据哪些数据属于LRU而将其移出内存而腾出空间来加载另外的数据。