数据架构统一的必要性,主要在于数据重复建设带来的混乱低效,但实现的难点是不同场景的性能平衡点不同。
比如,对于一个数据平台而言,数据新鲜度、低成本、高性能不可能同时实现,而在不同的数据计算场景比如典型的批计算、流计算、交互式分析中,重视的性能平衡点也不同,比如批计算重成本优化,流计算重数据新鲜度,交互式分析重查询性能,这样在场景切换时底层架构难以一直保持最佳性能。所以,传统的做法是采用多套不同的架构的组合,也就是Lambda架构来达到最佳性能。
为打破架构之间的技术屏障,云器采用增量计算模型统一批、流、交互三种计算模式,通过“增量时间间隔”关键变量来灵活切换不同的计算模式,在大幅降低建设成本、精简架构的同时,保持稳定的最优性能。
欢迎参与DataFun联合云器科技在2023年12月19日举办的技术实践与原理分享会,一起推动数据架构一体化进程!
会议详情
扫码报名观看直播
正文完
可以使用微信扫码关注公众号(ID:xzluomor)