业务痛点及实时技术的挑战
时间：2022-03-09 14:21:01 | 来源：行业动态
时间：2022-03-09 14:21:01 来源：行业动态
目前该业务在具体落地过程中，以及应用业务对实时数据需求方面，主要存在以下问题和技术难点：
1.流式数据join。目前PGW实时会话业务，峰值每秒数据达到35万/s，针对不同的业务需求，往往在数据清洗阶段，需要对流式数据进行字段关联，然后以宽表形式写入；
2.存量数据排序、实时分析。一方面因为各地区网元设备的不稳定等其他因素，往往实时传送过来的数据存在乱序问题，另一方面因为单条会话长期在线(最长超过14天），对于单条会话的实时分析往往需要对存量数据进行排序；
3.统一的实时OLAP数据平台构建。我们的用户包括：内部售后团队、运营、产品等内部人员外，还有外部政企平台客户。不同的用户往往关系的数据粒度、时间频率、维度等各不相同。但是我们希望能建立一套统一的实时OLAP数据平台，并提供一套灵活、安全可靠的实时数据服务。
目前整个业务的数据规模和业务如下：
在线咨询
