国产化是一种趋势，尤其是面向政府的项目、产品等，所以记录达梦改造时遇到的问题。
函数不兼容
group_concat 对应达梦 wm_concat 目前没有找到完全兼容函数
ifnull(expr,true,false)，mysql中ifnull函数可以有3个参数，达梦只有2个，mysql也有2 ...
2022-10-24 20:59 13336℃ 0评论
3 喜欢
背景
最近项目需要安装在一台完全无公网的服务器上，所以很多基础软件都要通过安装包的形式在内网传输。
概念解释
Centos软件源: 从字面意思上来讲，就是一个app store，你可以从里面搜索、安装自己需要的软件.
RPM包: linux的安装包格式，类似windows的exe，但是单个rpm包 ...
2020-10-29 9:57 13555℃ 0评论
9 喜欢
问题产生背景
kafka消费之后存储到hdfs，在持续消费过程中，hdfs重启了，导致kafka消费线程中的hdfs租约未被释放。
问题日志
ava.lang.RuntimeException: 移动文件夹失败！
at com.mj.dsl.dataSource.writer.HDFSDataWri ...
2020-05-08 21:41 14197℃ 0评论
4 喜欢
SparkContext AddJar不生效问题排查过程记录
问题背景
最近想做一个动态udf功能，用户在界面上传jar包，填写类名、函数名等基本信息后，在sql中就可以直接使用该udf。
问题描述
要实现这个功能，最开始想到的代码如下，使用原生的spark api
sparkSession.spa ...
2020-03-31 10:07 14416℃ 0评论
3 喜欢
现象
魔镜同步表失败，失败堆栈主要信息如下：
ExecutorLostFailure (executor 25 exited caused by one of the running tasks) Reason: Container marked as failed: container_e31_1 ...
2020-01-16 13:52 18582℃ 0评论
4 喜欢
系统选择：CentOS7.6+ ubuntu更适合个人桌面，centos更适合服务器，版本当然越高越好。
不要开启ssh的22端口改一个不常用的，否则会经常被扫描，暴力尝试密码。
网络防火墙，运营商层面尽量仅开放需要的端口。
如果有数据库，端口尽量不开放公网，如果非要开，请设置复杂密码，并且修改 ...
2019-12-06 16:13 9679℃ 0评论
0 喜欢
问题描述
SparkSql有时候在极端情况下会出现数据丢失的情况，比如任务执行到一半被kill掉了，application被重启了，虽然大部分场景下spark都有恢复机制，一旦出了这个问题，就需要想办法吧数据恢复过来~
知识点
SparkSql本身是通过hive的metastore来管理元数据，通 ...
2019-12-06 15:45 9817℃ 0评论
0 喜欢
快速做一个安全可靠的Mysql生产服务器
背景
最近阿里云和腾讯云都在做活动2C4G 5M的ECS服务器竟然只要3年998，就想着买一个服务器，部署个东西自己玩玩（程序员都有这种折腾的爱好吧~），买完之后，部署wordpress博客，但是考虑数据如何安全存储，我可不想辛苦写了几十篇文章，结果服务器挂 ...
2019-12-04 12:12 10895℃ 0评论
0 喜欢
环境：
ambari2.7.2,Hadoop3.1,hive3.0
配置过程
主要参考：http://www.louisvv.com/archives/1490.html 没什么难度，按照提示做基本没什么问题，数据也不会丢失。
注意：配置过程需要仔细看每一个步骤的提示，不同的命令是在不同的机器上执行 ...
2019-11-19 16:31 10673℃ 0评论
1 喜欢
问题背景
最近一个客户需要配置hadoopHA高可用，失败之后按照官方文档回滚为非HA状态，但是整个集群总是失败状态。其中Timeline Service V2 Reader启动失败，导致整个yarn服务不可用。现将问题排查过程记录如下：
第一个问题：Timeline Service V2 Rea ...
2019-11-19 13:45 6780℃ 0评论
5 喜欢
