关于性能优化，任何系统都需要从硬件、软件、业务层面三个维度去考虑，衡量某个方案的提升与代价来确定是否合适，再决定从哪里入手。
这篇文章仅针对魔镜的使用者从业务层面优化自己的系统提供一些思路。
总体思路
Spark不适合做并发查询，尽可能多的减少重复请求。
对于并发要求高、数据量小的表，尽可能计算完 ...
2020-08-10 15:47 13396℃ 0评论
4 喜欢
问题产生背景
kafka消费之后存储到hdfs，在持续消费过程中，hdfs重启了，导致kafka消费线程中的hdfs租约未被释放。
问题日志
ava.lang.RuntimeException: 移动文件夹失败！
at com.mj.dsl.dataSource.writer.HDFSDataWri ...
2020-05-08 21:41 14197℃ 0评论
4 喜欢
现象
魔镜同步表失败，失败堆栈主要信息如下：
ExecutorLostFailure (executor 25 exited caused by one of the running tasks) Reason: Container marked as failed: container_e31_1 ...
2020-01-16 13:52 18582℃ 0评论
4 喜欢
环境：
ambari2.7.2,Hadoop3.1,hive3.0
配置过程
主要参考：http://www.louisvv.com/archives/1490.html 没什么难度，按照提示做基本没什么问题，数据也不会丢失。
注意：配置过程需要仔细看每一个步骤的提示，不同的命令是在不同的机器上执行 ...
2019-11-19 16:31 10673℃ 0评论
1 喜欢
背景：
魔镜单机版是按照4核8G的服务器标准调的参数，如果对方给的机器性能比较好，内存较大，可以根据需求调整内存参数，提高魔镜性能。jvm内存原则上不要超过机器内存的60%，不过太大，比如超过64G提升也不会太明显了。
魔镜单机版由于使用的是spark的[local]模式，所以也没有executor ...
2019-11-06 15:26 3562℃ 0评论
0 喜欢
功能描述
主要解决彻底删除某个账号下的数据。
清理系统中的脏数据（可能是因为逻辑不严谨导致的，个别数据可能会影响功能）
-- 删除某个用户下的所有数据信息
delete from mj_object where owner = 1;
delete from mj_folder_info wher ...
2019-11-05 11:22 3636℃ 0评论
2 喜欢
功能描述：
用户可以将自己在windows上做好的仪表盘数据迁移到linux（最好是docker部署，否则以下相关路径要根据实际情况修改）的另外一台系统中，当然是全部数据迁移，暂不支持部分数据迁移。
迁移步骤
hive_local.sql mojing.sql （使用mysqldump -ud ...
2019-11-05 11:18 5022℃ 0评论
1 喜欢
功能描述
用户可以根据自己需要，在顶部菜单栏增加一个大项“外部链接”，配置显示名称和外部链接地址，比如“问题反馈”，“论坛”等。
添加步骤
在/webapps/ROOT/custom中增加custom.js（如果已有，则直接更改即可），找到相关代码：
externalLinks: [
...
2019-11-05 11:15 2569℃ 0评论
1 喜欢
背景描述
魔镜新版本已经提供了配置登录跳转地址的功能，可以由用户自定义登录后的跳转地址。
但是：如果是给领导看的东西，总不能让领导先手工设置吧，所以希望能有配置来直接设置好领导登录后跳转到哪里~ 也数据国内特色的功能需求吧~
前提
在/mojing-server/WEB-INF/classes/a ...
2019-11-05 11:10 2526℃ 0评论
1 喜欢
前提
只有高级版安装包才有示例项目功能。
目前暂无设置示例项目功能，只能通过后台配置的方式。
配置步骤
向mj_demo_project中插入记录 insert into mj_demo_project values(1,1,now(),now(),1,4)
查找逻辑：本人部门（branc_ ...
2019-11-05 11:07 2253℃ 0评论
1 喜欢
