关于性能优化，任何系统都需要从硬件、软件、业务层面三个维度去考虑，衡量某个方案的提升与代价来确定是否合适，再决定从哪里入手。
这篇文章仅针对魔镜的使用者从业务层面优化自己的系统提供一些思路。
总体思路
Spark不适合做并发查询，尽可能多的减少重复请求。
对于并发要求高、数据量小的表，尽可能计算完 ...
2020-08-10 15:47 13396℃ 0评论
4 喜欢
问题产生背景
kafka消费之后存储到hdfs，在持续消费过程中，hdfs重启了，导致kafka消费线程中的hdfs租约未被释放。
问题日志
ava.lang.RuntimeException: 移动文件夹失败！
at com.mj.dsl.dataSource.writer.HDFSDataWri ...
2020-05-08 21:41 14197℃ 0评论
4 喜欢
现象
魔镜同步表失败，失败堆栈主要信息如下：
ExecutorLostFailure (executor 25 exited caused by one of the running tasks) Reason: Container marked as failed: container_e31_1 ...
2020-01-16 13:52 18582℃ 0评论
4 喜欢
问题描述
还是之前kafka消费数据到hive中丢失数据的问题，为了更进一步定位问题，我先将flush之后的临时文件存储到一个临时目录，然后针对丢失的数据从临时文件中查找是否存在，结果文件中数据是全的。
解决思路
仔细检查代码，发现后面可能引起丢失数据的过程就剩一个去重，业务逻辑是：这里消费的是my ...
2019-11-12 10:07 5910℃ 1评论
5 喜欢
问题描述
通过脚本或者通过spark-shell更新某张表之后，也调用的spark refresh table的接口，然而仪表盘看到的还是旧数据，分析台、api接口调用返回的都是旧数据。
问题原因分析
魔镜从7.3.5.0版本开始，为了增加仪表盘性能和并发能力，在sql查询和spark之间增加了一层 ...
2019-11-08 9:37 3893℃ 0评论
0 喜欢
功能描述：
用户可以将自己在windows上做好的仪表盘数据迁移到linux（最好是docker部署，否则以下相关路径要根据实际情况修改）的另外一台系统中，当然是全部数据迁移，暂不支持部分数据迁移。
迁移步骤
hive_local.sql mojing.sql （使用mysqldump -ud ...
2019-11-05 11:18 5022℃ 0评论
1 喜欢
描述
众所周知，企业现在对数据的实时性的要求是越来越高，但是实时性越高同样带来的技术和资源也会成指数级增长，所以在和企业客户沟通的时候，应该本着一个原则：挖掘客户真正想要的实时数据，而不是可有可无的数据，可以从资源的角度去说服客户。
目前国内现状：
除非自己有很强的自研团队，如阿里、腾讯这些大厂，其 ...
2019-11-05 10:55 2771℃ 0评论
2 喜欢
问题描述
spark脚本提交之后，遇到异常，重要堆栈如下：
Caused by: java.io.FileNotFoundException: File does not exist: hdfs://bigdata5:8020/apps/spark/warehouse/ds1152_sys_orde ...
2019-11-05 10:48 4969℃ 0评论
3 喜欢
导出Excel失败
可能导致原因
数据量太大导致的浏览器卡死。
数据量太大导致的魔镜内存溢出。
后台查询较慢，导致等待时间比较长，长时间无响应。
后台查询报错，导致前端无响应。
排查步骤
编辑该图表到分析台，看看是否能出数据，如果不能出数据，则可能有相关异常再进一步分析。
编辑到分析台如 ...
2019-11-05 10:33 2493℃ 0评论
0 喜欢
问题描述
最近kafka总是报flush异常，异常大概如下，用户反馈最近两周总是有数据丢失情况，每次都需要手工进行重新同步全量数据。
Caused by: java.io.FileNotFoundException: File does not exist: /guoyundata1/kafka/d ...
2019-10-17 17:36 2397℃ 0评论
2 喜欢
