1/5 HBase( 二 )


??时间戳:每个单元格都保存着同一份数据的多个版本,这些版本采用时间戳进行索引
2.4.1 Hbase数据模型

HBase将数据存放在带有标签的表中,表由行和列组成,行和列交叉确定一个单元格,单元格有版本号,版本号自动分配,为数据插入该单元格时的时间戳 。单元格的内容没有数据类型,所有数据都被视为未解释的字节数组 。
??表格中每一行有一个行键(也是字节数组,任何形式的数据都可以表示成字符串,比如数据结构进行序列化之后),整个表根据行键的字节序来排序,所有对表的访问必须通过行键 。
??表中的列又划分为多个列族(column family),同一个列族的所有成员具有相同的前缀,具体的列由列修饰符标识,因此,列族和列修饰符合起来才可以表示某一列,比如:info:format、cotents:image

1/5 HBase

文章插图
在创建一个表的时候,列族必须作为模式定义的一部分预先给出,而列族是支持动态扩展的,也就是列族成员可以随后按需加入 。物理上,所有的列族成员一起存放在文件系统上,所以实际上说HBase是面向列的数据库,更准确的应该是面向列族,调优和存储都是在列族这个层次上进行的 。一般情况下,同一个列族的成员最后具有相同的访问模式和大小特征 。
??总结起来,HBase表和我们熟知的RDBMS的表很像,不同之处在于:行按行键排序,列划分为列族,单元格有版本号,没有数据类型 。
2.4.2 Hbase数据坐标
HBase中需要根据行键、列族、列限定符和时间戳来确定一个单元格(cell),cell中的数据是没有类型的,全部是字节码形式存贮 。,因此,可以视为一个“四维坐标”,即[行键, 列族, 列限定符, 时间戳] 。

1/5 HBase

文章插图
对于上图这样一个HBase表,其数据坐标举例如下:
键值[“201505003”, “Info”, “email”, 1174184619081]“xie@qq.com”[“201505003”, “Info”, “email”, 1174184620720]“you@163.com”2.4.3 HBase区域
HBase自动把表水平划分为区域(Region),每个区域都是有若干连续行构成的,一个区域由所属的表、起始行、终止行(不包括这行)三个要素来表示 。
??一开始,一个表只有一个区域,但是随着数据的增加,区域逐渐变大,等到它超出设定的阈值大小,就会在某行的边界上进行拆分,分成两个大小基本相同的区域 。然后随着数据的再增加,区域就不断的增加,如果超出了单台服务器的容量,就可以把一些区域放到其他节点上去,构成一个集群 。也就是说:集群中的每个节点(Region Server)管理整个表的若干个区域 。所以,我们说:区域是HBase集群上分布数据的最小单位 。

1/5 HBase

文章插图
三、HBase系统架构3.1 架构图
1/5 HBase

文章插图
3.2 组件介绍HBase由三种类型的服务器以主从模式构成:
  • Region Server:负责数据的读写服务,用户通过与Region server交互来实现对数据的访问 。
  • HBase HMaster:负责Region的分配及数据库的创建和删除等操作 。
  • ZooKeeper:负责维护集群的状态(某台服务器是否在线,服务器之间数据的同步操作及master的选举等) 。
HDFS的DataNode负责存储所有Region Server所管理的数据,即HBase中的所有数据都是以HDFS文件的形式存储的 。出于使Region server所管理的数据更加本地化的考虑,Region server是根据DataNode分布的 。HBase的数据在写入的时候都存储在本地 。但当某一个region被移除或被重新分配的时候,就可能产生数据不在本地的情况 。这种情况只有在所谓的compaction之后才能解决 。

经验总结扩展阅读