今天测试过程中发现YARN Node变成Unhealthy了,后来定位到硬盘空间不够。。。。。
通过查找大于100M的文件时发现有N多个spark-assembly-1.4.0-SNAPSHOT-hadoop2.5.0-cdh5.3.1.jar包,大小为170多M,
每提交一个application到yarn上执行,就会上传一个assembly包,application个数一多,磁盘就本占用了N多空间。。。。
解决方法参见【】
本文共 215 字,大约阅读时间需要 1 分钟。
今天测试过程中发现YARN Node变成Unhealthy了,后来定位到硬盘空间不够。。。。。
通过查找大于100M的文件时发现有N多个spark-assembly-1.4.0-SNAPSHOT-hadoop2.5.0-cdh5.3.1.jar包,大小为170多M,
每提交一个application到yarn上执行,就会上传一个assembly包,application个数一多,磁盘就本占用了N多空间。。。。
解决方法参见【】
转载地址:http://bjubx.baihongyu.com/