博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Spark On YARN使用时上传jar包过多导致磁盘空间不够。。。
阅读量:5806 次
发布时间:2019-06-18

本文共 215 字,大约阅读时间需要 1 分钟。

今天测试过程中发现YARN Node变成Unhealthy了,后来定位到硬盘空间不够。。。。。

通过查找大于100M的文件时发现有N多个spark-assembly-1.4.0-SNAPSHOT-hadoop2.5.0-cdh5.3.1.jar包,大小为170多M,

每提交一个application到yarn上执行,就会上传一个assembly包,application个数一多,磁盘就本占用了N多空间。。。。

解决方法参见【】

转载地址:http://bjubx.baihongyu.com/

你可能感兴趣的文章
opencv安装指南
查看>>
矩阵常用归一化
查看>>
Oracle常用函数总结
查看>>
Linux共享内存使用常见陷阱与分析
查看>>
How to recover from 'programmers burnout(转)
查看>>
SpringCloud实战小贴士:Zuul的路径匹配
查看>>
【聚能聊有奖话题】Boring隧道掘进机完成首段挖掘,离未来交通还有多远?
查看>>
CMake 手册详解(二十)
查看>>
嵌入式 busybox自带的tftp、telnet、ftp服务器
查看>>
USNews大学排名遭美国计算机研究学会怒怼,指排名荒谬要求撤回
查看>>
struts1——静态ActionForm与动态ActionForm
查看>>
七大关键数据 移动安全迎来历史转折点
查看>>
各大电商纷纷瞄准机器人领域,备战双十一各显神功
查看>>
在AngularJS中学习javascript的new function意义及this作用域的生成过程
查看>>
盘点物联网网关现有联网技术及应用场景
查看>>
Windwos 08R2_DNS全面图文详解
查看>>
重拾黑客精神:后IT时代技术流的回归
查看>>
网络钓鱼大讲堂 Part3 | 网络钓鱼攻击向量介绍
查看>>
阿里云与Intel联合发布加密计算,亚洲首个云上“芯片级”数据保护
查看>>
关注数据中心NFV性能
查看>>