问题描述
还是之前kafka消费数据到hive中丢失数据的问题,为了更进一步定位问题,我先将flush之后的临时文件存储到一个临时目录,然后针对丢失的数据从临时文件中查找是否存在,结果文件中数据是全的。
解决思路
仔细检查代码,发现后面可能引起丢失数据的过程就剩一个去重,业务逻辑是:这里消费的是my ...
2019-11-12 10:07 5911℃ 1评论
5 喜欢
在脚本里面运行一下命令,修改npm的安装目录即可。
如:
npm config set prefix /tmp
export PATH=$PATH:/tmp/bin
npm install -g cnpm --registry=https://registry.npm.taobao.org
cnpm ...
2019-11-08 10:01 1267℃ 0评论
0 喜欢
docker pull kylemanna/openvpn
OVPN_DATA="/root/ovpn-data”
IP=“123.123.123.123"
mkdir ${OVPN_DATA}
docker run -v ${OVPN_DATA}:/etc/openvpn  ...
2019-10-19 12:07 2368℃ 0评论
1 喜欢
brew install openvpn
brew list openvpn找到vpn安装地址,然后创建软连接:ln -s /usr/local/Cellar/openvpn/2.4.4/sbin/openvpn /usr/local/bin/openvpn
将client.ovpn拷贝到/etc ...
2019-10-19 12:06 4863℃ 0评论
6 喜欢
docker默认存储地址修改
vim daemon.json,增加如下内容
{
"graph": "/data01/dockerdata",
"storage-driver": "devicemapper& ...
2019-10-19 12:04 1110℃ 0评论
3 喜欢
这两天遇到几个多线程的问题,多方找资料测试,现记录下测试结果,供自己以后查询用
问题描述:
项目最近在考虑Rest化,第一个问题就是session管理,现考虑使用redis存储session,并对不需要创建session的接口调用中,使用threadLocal存储用户信息,在请求开始时,将用户信息存 ...
2019-10-19 11:53 1195℃ 0评论
1 喜欢
以前做压测的时候,遇到过CPU过高的情况,但是没有总结,今天又遇到这种情况,导致到处找资料,虽然知道思路,但是很多命令都要重新找度娘或谷歌。所以这次总结下:
现象:项目突然宕机,连到服务器上发现CPU 接近800%(8核)。
步骤1:首先top命令查看CPU占用最高的进程,发现是java进程(326 ...
2019-10-19 11:50 1161℃ 0评论
1 喜欢