yangchenhui的文章

技术总结

Hadoop/Yarn启动失败问题排查。

问题背景 最近一个客户需要配置hadoopHA高可用,失败之后按照官方文档回滚为非HA状态,但是整个集群总是失败状态。其中Timeline Service V2 Reader启动失败,导致整个yarn服务不可用。现将问题排查过程记录如下: 第一个问题:Timeline Service V2 Rea ...

2019-11-19 13:45 6784℃ 0评论 5 喜欢

技术总结

SparkDataset DropDuplicate去重无法保证取最新数据问题

问题描述 还是之前kafka消费数据到hive中丢失数据的问题,为了更进一步定位问题,我先将flush之后的临时文件存储到一个临时目录,然后针对丢失的数据从临时文件中查找是否存在,结果文件中数据是全的。 解决思路 仔细检查代码,发现后面可能引起丢失数据的过程就剩一个去重,业务逻辑是:这里消费的是my ...

2019-11-12 10:07 5911℃ 1评论 5 喜欢

魔镜问题汇总

【魔镜】仪表盘刷新不到最新数据

问题描述 通过脚本或者通过spark-shell更新某张表之后,也调用的spark refresh table的接口,然而仪表盘看到的还是旧数据,分析台、api接口调用返回的都是旧数据。 问题原因分析 魔镜从7.3.5.0版本开始,为了增加仪表盘性能和并发能力,在sql查询和spark之间增加了一层 ...

2019-11-08 9:37 3895℃ 0评论 0 喜欢

魔镜使用

魔镜单机版增大内存

背景: 魔镜单机版是按照4核8G的服务器标准调的参数,如果对方给的机器性能比较好,内存较大,可以根据需求调整内存参数,提高魔镜性能。jvm内存原则上不要超过机器内存的60%,不过太大,比如超过64G提升也不会太明显了。 魔镜单机版由于使用的是spark的[local]模式,所以也没有executor ...

2019-11-06 15:26 3563℃ 0评论 0 喜欢

魔镜使用

魔镜7.3版本清理脏数据

功能描述 主要解决彻底删除某个账号下的数据。 清理系统中的脏数据(可能是因为逻辑不严谨导致的,个别数据可能会影响功能) -- 删除某个用户下的所有数据信息 delete from mj_object where owner = 1; delete from mj_folder_info wher ...

2019-11-05 11:22 3637℃ 0评论 2 喜欢

魔镜使用

魔镜windows安装包迁移到linux(since 7.2.6)

功能描述: 用户可以将自己在windows上做好的仪表盘数据迁移到linux(最好是docker部署,否则以下相关路径要根据实际情况修改)的另外一台系统中,当然是全部数据迁移,暂不支持部分数据迁移。 迁移步骤 hive_local.sql mojing.sql (使用mysqldump -ud ...

2019-11-05 11:18 5023℃ 0评论 1 喜欢

魔镜使用

魔镜菜单栏添加外部链接

功能描述 用户可以根据自己需要,在顶部菜单栏增加一个大项“外部链接”,配置显示名称和外部链接地址,比如“问题反馈”,“论坛”等。 添加步骤 在/webapps/ROOT/custom中增加custom.js(如果已有,则直接更改即可),找到相关代码: externalLinks: [  ...

2019-11-05 11:15 2570℃ 0评论 1 喜欢

魔镜使用

魔镜登录默认跳转地址配置

背景描述 魔镜新版本已经提供了配置登录跳转地址的功能,可以由用户自定义登录后的跳转地址。 但是:如果是给领导看的东西,总不能让领导先手工设置吧,所以希望能有配置来直接设置好领导登录后跳转到哪里~ 也数据国内特色的功能需求吧~ 前提 在/mojing-server/WEB-INF/classes/a ...

2019-11-05 11:10 2527℃ 0评论 1 喜欢