大数据查询中心 大数据查询( 二 )


所要做的就是根据不同的业务使用场景 , 寻找合适的OLAP引擎 , 并通过适当的缓存级DB提升不断增长的需求 。
3、新的业务高并发问题 , OLTP?
基于上述的洞察分析场景 , OLAP基本是可以满足要求的 , 确实比较解决了定制化制作报告的问题 , 收到了良好的反馈 。
随着业务的深入应用 , 业务也需要用到数仓(特别是实时数仓)的数据 , 用于业务之间的逻辑处理 。通过数据服务开放API是可以满足相应的要求的 , 但是核心问题是业务应用的高并发 , ToB的业务还好 , ToC的业务量对于OLAP的数据库来说 , 高并发无法满足相应要求 。只要高并发的新功能上线 , DB宕机的概率非常大 , 这是非常大的挑战 。
如何应对?有几个思路:
1)增加OLAP的硬件资源 , 硬抗 。
2)在第1种的情况下 , 进行分库分表的思路 , 所有SAAS在一个库中相互影响太大 , 可以分几个或多个 , 比如分级数据中心 , 极限是私有化;
3)引入OLTP数据库(同样支持分布式) , 以提升高并发的支撑度 , 满足实际客户的需求 。相当于2种场景 , 2类存储 , 2份数据 , 也会带来数据不一致的问题 , 最终造成数据准确性方面的问题 。
尝试的过程中 , 确实可以收获很多的惊喜 , 确实是可以解决相应场景的问题的 , 继续探索 , 继续突破 。
总结下 , 不管是满足一线、客户的定制化需求使用OLAP满足快速高效的查询需求 , 还是满足业务应用之间逻辑处理的场景需求 , 都没有一款DB产品可以解决单个场景的所有问题 , 都是具体问题具体分析 , 针对性解决 。当然 , 2类不同场景更是这个道理了 。我们希望找到银弹 , 但这个证明好像不太现实 , 唯有继续努力!

推荐阅读