分类:技术总结

SparkDataset DropDuplicate去重无法保证取最新数据问题

问题描述 还是之前kafka消费数据到hive中丢失数据的问题,为了更进一步定位问题,我先将flush之后的临时文件存储到一个临时目录,然后针对丢失的数据从临时文件中查找是否存在,结果文件中数据是全的。 解决思路 仔细检查代码,发现后面可能引起丢失数据的过程就剩一个去重,业务逻辑是:这里消费的是my ...

2019-11-12 10:07 5911℃ 1评论 5 喜欢

Mac OS下openvpn配置

brew install openvpn brew list openvpn找到vpn安装地址,然后创建软连接:ln -s /usr/local/Cellar/openvpn/2.4.4/sbin/openvpn /usr/local/bin/openvpn 将client.ovpn拷贝到/etc ...

2019-10-19 12:06 4863℃ 0评论 6 喜欢

docker常用命令

docker默认存储地址修改 vim daemon.json,增加如下内容 { "graph": "/data01/dockerdata", "storage-driver": "devicemapper& ...

2019-10-19 12:04 1110℃ 0评论 3 喜欢

线程池、ThreadLocal、Tomcat 应用小结

这两天遇到几个多线程的问题,多方找资料测试,现记录下测试结果,供自己以后查询用 问题描述: 项目最近在考虑Rest化,第一个问题就是session管理,现考虑使用redis存储session,并对不需要创建session的接口调用中,使用threadLocal存储用户信息,在请求开始时,将用户信息存 ...

2019-10-19 11:53 1195℃ 0评论 1 喜欢

关于Java CPU占用过高的问题解决总结

以前做压测的时候,遇到过CPU过高的情况,但是没有总结,今天又遇到这种情况,导致到处找资料,虽然知道思路,但是很多命令都要重新找度娘或谷歌。所以这次总结下: 现象:项目突然宕机,连到服务器上发现CPU 接近800%(8核)。 步骤1:首先top命令查看CPU占用最高的进程,发现是java进程(326 ...

2019-10-19 11:50 1161℃ 0评论 1 喜欢