魔镜现阶段关于数据实时性的能力或最佳方案

魔镜问题汇总 yangchenhui 2774℃ 0评论
描述

众所周知,企业现在对数据的实时性的要求是越来越高,但是实时性越高同样带来的技术和资源也会成指数级增长,所以在和企业客户沟通的时候,应该本着一个原则:挖掘客户真正想要的实时数据,而不是可有可无的数据,可以从资源的角度去说服客户。

目前国内现状:

除非自己有很强的自研团队,如阿里、腾讯这些大厂,其他一些企业基本上还是以T-1为主。

所以目前魔镜的最理想状态:

  1. 80%数据走T-1离线计算,把计算尽量放到晚上。
  2. 10%的数据走spark 实时计算(事实表的数据量不能太大,否则影响用户体验)
  3. 5%的数据可以通过流计算,将结果存储到mysql中,然后通过魔镜的mysql直连功能进行展现。
  4. 5%的数据直接通过流计算实时展示(完全定制)。

本文固定链接:杨晨辉的个人博客 » 魔镜现阶段关于数据实时性的能力或最佳方案
本站内容除特别标注外均为原创,欢迎转载,但请保留出处!

喜欢 (2)
发表我的评论
取消评论
表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址