3.现有技术框架
时间：2022-03-09 14:27:01 | 来源：行业动态
时间：2022-03-09 14:27:01 来源：行业动态
3.1、现有技术框架整体介绍
为解决现有的业务痛点，同时平衡在实时数据处理技术实现上的难点。我们摒弃了部分技术组件，采用新的技术组件搭建整个实时数仓用于满足PGW实时会话业务。其中StarRocks可以满足大多场景的需求。
PGW会话业务中流式Join问题，一部分我们通过在StarRocks中星型建模的方案的解决，另一部分我们借助关系型内存数据库VoltDB Google Guava Cache，流式组件处理过程中代码实现。
存量数据的排序、实时分析问题。我们借助StarRocksrange分区以及高效的OLAP性能初步缓解。
最后统一OLAP分析平台，我们完全借助StarRocks实现。
3.2、StarRocks解决的痛点和挑战
1.充分利用StarRocks在多表join方面的性能优化，如Colocate Join、内存表等特性。将原来的流式join方案改为通过星型建模方案，在数据服务层进行多表join的联邦查询；
2.通过StarRocks动态分区特性对存量数据进行分区，然后利用Bitmap数据类型进行精确去重，然后再在各分区内完成排序。排序的结果进一步汇总到一张数据表中，和实时到来的数据放在一起排序，可以有效地解决数据乱序问题，并且保证数据分析的效率。
3.StarRocks可作为数据服务层的统一对外引擎，一方面保证查询性能，另一方面避免了原来多技术组件带来的冗余问题，极大降低了系统的管理成本。
4.技术实现方面：替代Hbase部分业务，缓解了Hbase分区分裂带来的性能问题；通过ES外表引擎，解决ES表不能进行join、语法特殊等技术问题。
在线咨询
