内存不够问题
 |
greemranqq
2016-05-09
任务描述：
有个任务map 已经结束，reduce 是1099个，但是跑到1098 也就是 99% 的时候卡死， 日志显示，问题已经出现过几次，同样的SQL 并不是每次都会出现，也通过参数调节了几次了，但是不是很深入原理，也不知道为什么还会出现。 Memory usage of ProcessTree 7161 for container-id container_1461906556804_16350_01_049101: 685.2 MB of 2 GB physical memory used; 1.5 GB of 4.2 GB virtual memory used。 cdh5.5.1 版本，下面是配置： 配置是 cpu：8 mem：16G的阿里云 参数配置： yarn.nodemanager.resource.memory-mb=9.77GB yarn.scheduler.minimum-allocation-mb=2G mapreduce.reduce.memory.mb=1G yarn.scheduler.maximum-allocation-mb=6.89G mapreduce.map.memory.mb=2.44G ui显示使用： containers:3 cpu:3 mem:6144 有大神 能详细 分享下 如何调优吗，感谢！ |
