国产化是一种趋势，尤其是面向政府的项目、产品等，所以记录达梦改造时遇到的问题。
函数不兼容
group_concat 对应达梦 wm_concat 目前没有找到完全兼容函数
ifnull(expr,true,false)，mysql中ifnull函数可以有3个参数，达梦只有2个，mysql也有2 ...
2022-10-24 20:59 13336℃ 0评论
3 喜欢
背景
最近项目需要安装在一台完全无公网的服务器上，所以很多基础软件都要通过安装包的形式在内网传输。
概念解释
Centos软件源: 从字面意思上来讲，就是一个app store，你可以从里面搜索、安装自己需要的软件.
RPM包: linux的安装包格式，类似windows的exe，但是单个rpm包 ...
2020-10-29 9:57 13555℃ 0评论
9 喜欢
关于性能优化，任何系统都需要从硬件、软件、业务层面三个维度去考虑，衡量某个方案的提升与代价来确定是否合适，再决定从哪里入手。
这篇文章仅针对魔镜的使用者从业务层面优化自己的系统提供一些思路。
总体思路
Spark不适合做并发查询，尽可能多的减少重复请求。
对于并发要求高、数据量小的表，尽可能计算完 ...
2020-08-10 15:47 13396℃ 0评论
4 喜欢
问题产生背景
kafka消费之后存储到hdfs，在持续消费过程中，hdfs重启了，导致kafka消费线程中的hdfs租约未被释放。
问题日志
ava.lang.RuntimeException: 移动文件夹失败！
at com.mj.dsl.dataSource.writer.HDFSDataWri ...
2020-05-08 21:41 14197℃ 0评论
4 喜欢
SparkContext AddJar不生效问题排查过程记录
问题背景
最近想做一个动态udf功能，用户在界面上传jar包，填写类名、函数名等基本信息后，在sql中就可以直接使用该udf。
问题描述
要实现这个功能，最开始想到的代码如下，使用原生的spark api
sparkSession.spa ...
2020-03-31 10:07 14416℃ 0评论
3 喜欢
现象
魔镜同步表失败，失败堆栈主要信息如下：
ExecutorLostFailure (executor 25 exited caused by one of the running tasks) Reason: Container marked as failed: container_e31_1 ...
2020-01-16 13:52 18582℃ 0评论
4 喜欢
系统选择：CentOS7.6+ ubuntu更适合个人桌面，centos更适合服务器，版本当然越高越好。
不要开启ssh的22端口改一个不常用的，否则会经常被扫描，暴力尝试密码。
网络防火墙，运营商层面尽量仅开放需要的端口。
如果有数据库，端口尽量不开放公网，如果非要开，请设置复杂密码，并且修改 ...
2019-12-06 16:13 9679℃ 0评论
0 喜欢
问题描述
SparkSql有时候在极端情况下会出现数据丢失的情况，比如任务执行到一半被kill掉了，application被重启了，虽然大部分场景下spark都有恢复机制，一旦出了这个问题，就需要想办法吧数据恢复过来~
知识点
SparkSql本身是通过hive的metastore来管理元数据，通 ...
2019-12-06 15:45 9817℃ 0评论
0 喜欢
快速做一个安全可靠的Mysql生产服务器
背景
最近阿里云和腾讯云都在做活动2C4G 5M的ECS服务器竟然只要3年998，就想着买一个服务器，部署个东西自己玩玩（程序员都有这种折腾的爱好吧~），买完之后，部署wordpress博客，但是考虑数据如何安全存储，我可不想辛苦写了几十篇文章，结果服务器挂 ...
2019-12-04 12:12 10895℃ 0评论
0 喜欢
环境：
ambari2.7.2,Hadoop3.1,hive3.0
配置过程
主要参考：http://www.louisvv.com/archives/1490.html 没什么难度，按照提示做基本没什么问题，数据也不会丢失。
注意：配置过程需要仔细看每一个步骤的提示，不同的命令是在不同的机器上执行 ...
2019-11-19 16:31 10673℃ 0评论
1 喜欢
