管理日志、IoT和事件数据的设计模式

Trafodion在IoT(物联网)空间、电信和网络安全中的一个常见应用场景是用一个非常大的单表,记录实时事件。用户希望快速摄取新数据,查询数据,并清理过时的数据。

对于这种情况,我们一般建议客户使用一种设计模式。该模式包含三个要素:Salting分块Stripe合并。

Salting

第一个要素是salting,在集群中平均分布数据。通过salting 不仅平均分布全部数据,而且在集群中的所有节点均匀分布热(最新)数据。Salting基于哈希散列,运用哈希散列函数计算每一行的 region 号。一般情况下,这是基于运营型查询中使用的一列或多列,比如客户id或设备id。

Trafodion自动管理salt。计算哈希散列函数,并自动对Salt列执行条件判断。SQL的Insert、Select和Delete语句不需要任何特殊的操作。

数据均匀分布之后,我们面临下一个问题——选择一个恰当的行键。为了让数据查询、过时数据清理和合并更容易,我们需要在每个region的末尾添加新行,但并不是随机添加。我们还希望按日期范围对时间序列的数据进行查询,并对其他重要的列(例如,customer id或device id)进行查询。

为了实现以上两个目标,我们紧接着在salt后面采用了另一个键前缀——分块标识(divisionid)。分块是一个时间范围,比如一天、一周或一个月。它将该时间范围内所有的行全部归并在一起,以便我们选择一列(例如,customer id)作为主键列。

这类情景中典型的运营型查询如下所示:

SELECT * FROM t
WHERE cust_id = x AND transaction_timestamp BETWEEN y AND z

在cust_id上做Salting可确保用户x的所有行均放在同一个HBase region 中。Trafodion通过对该salt列进行条件判断,确保查询仅访问该 region 服务器。

分块

按列分块确保我们只需要读取相关时间范围中的数据,而非多年的历史数据。此外,我们能够使用cust_id作为主键列,从而在数百万用户数据中迅速为我们的用户锁定所需数据。

有时我们想要查询多位用户的数据和多天的数据。Trafodion采用独特的多维访问方法(MDAM)将多个复杂的条件判断分离,只扫描相关范围,略过中间不需要的数据,从而有效地实现该目标。

我们已经证明,通过salting和分块,很容易在时间结构表中插入数据,并且在查询时仅需要访问特定时间范围和关键列中的所需的数据。

Stripe合并

还有两个容易忽视的问题:数据过时处理和HBase主合并。为此,HBase的stripe合并可以起到很大的作用。将HBase region中的数据分成多个stripe,每个Strip对应一个键的范围(比如每个stripe中存储一个月的数据)。只合并这些stripe内的文件。这意味着数月不曾改变的历史数据不需要通过压缩重复改写。这些数据保持原状,直到过时(即删除)。到那时,一些“stripe”中的数据清空,然后与更新的非空stripe合并。

总之:Trafodion和HBase提供了三个强大的设计要素,使您能够在一个表中存储大量基于时间的数据。对于SQL查询,salting、分块和stripe合并是透明的。通过这三个要素可以有效地实现数据摄取、查询和过时处理。