问题背景
最近一个客户需要配置hadoopHA高可用,失败之后按照官方文档回滚为非HA状态,但是整个集群总是失败状态。其中Timeline Service V2 Reader启动失败,导致整个yarn服务不可用。现将问题排查过程记录如下:
第一个问题:Timeline Service V2 Rea ...
2019-11-19 13:45 6784℃ 0评论
5 喜欢
问题描述
还是之前kafka消费数据到hive中丢失数据的问题,为了更进一步定位问题,我先将flush之后的临时文件存储到一个临时目录,然后针对丢失的数据从临时文件中查找是否存在,结果文件中数据是全的。
解决思路
仔细检查代码,发现后面可能引起丢失数据的过程就剩一个去重,业务逻辑是:这里消费的是my ...
2019-11-12 10:07 5911℃ 1评论
5 喜欢
在脚本里面运行一下命令,修改npm的安装目录即可。
如:
npm config set prefix /tmp
export PATH=$PATH:/tmp/bin
npm install -g cnpm --registry=https://registry.npm.taobao.org
cnpm ...
2019-11-08 10:01 1267℃ 0评论
0 喜欢
问题描述
通过脚本或者通过spark-shell更新某张表之后,也调用的spark refresh table的接口,然而仪表盘看到的还是旧数据,分析台、api接口调用返回的都是旧数据。
问题原因分析
魔镜从7.3.5.0版本开始,为了增加仪表盘性能和并发能力,在sql查询和spark之间增加了一层 ...
2019-11-08 9:37 3895℃ 0评论
0 喜欢
背景:
魔镜单机版是按照4核8G的服务器标准调的参数,如果对方给的机器性能比较好,内存较大,可以根据需求调整内存参数,提高魔镜性能。jvm内存原则上不要超过机器内存的60%,不过太大,比如超过64G提升也不会太明显了。
魔镜单机版由于使用的是spark的[local]模式,所以也没有executor ...
2019-11-06 15:26 3563℃ 0评论
0 喜欢
功能描述
主要解决彻底删除某个账号下的数据。
清理系统中的脏数据(可能是因为逻辑不严谨导致的,个别数据可能会影响功能)
-- 删除某个用户下的所有数据信息
delete from mj_object where owner = 1;
delete from mj_folder_info wher ...
2019-11-05 11:22 3637℃ 0评论
2 喜欢
功能描述:
用户可以将自己在windows上做好的仪表盘数据迁移到linux(最好是docker部署,否则以下相关路径要根据实际情况修改)的另外一台系统中,当然是全部数据迁移,暂不支持部分数据迁移。
迁移步骤
hive_local.sql mojing.sql (使用mysqldump -ud ...
2019-11-05 11:18 5023℃ 0评论
1 喜欢
功能描述
用户可以根据自己需要,在顶部菜单栏增加一个大项“外部链接”,配置显示名称和外部链接地址,比如“问题反馈”,“论坛”等。
添加步骤
在/webapps/ROOT/custom中增加custom.js(如果已有,则直接更改即可),找到相关代码:
externalLinks: [
 ...
2019-11-05 11:15 2570℃ 0评论
1 喜欢
背景描述
魔镜新版本已经提供了配置登录跳转地址的功能,可以由用户自定义登录后的跳转地址。
但是:如果是给领导看的东西,总不能让领导先手工设置吧,所以希望能有配置来直接设置好领导登录后跳转到哪里~ 也数据国内特色的功能需求吧~
前提
在/mojing-server/WEB-INF/classes/a ...
2019-11-05 11:10 2527℃ 0评论
1 喜欢
前提
只有高级版安装包才有示例项目功能。
目前暂无设置示例项目功能,只能通过后台配置的方式。
配置步骤
向mj_demo_project中插入记录 insert into mj_demo_project values(1,1,now(),now(),1,4)
查找逻辑:本人部门(branc_ ...
2019-11-05 11:07 2254℃ 0评论
1 喜欢