w***g
发帖数: 5958 | 1 【 以下文字转载自 Programming 讨论区 】
发信人: wdong (cybra), 信区: Programming
标 题: 通过日志分析yarn app实际内存用量
发信站: BBS 未名空间站 (Tue Jan 13 15:05:17 2015, 美东)
上次介绍过yarn/spark怎么调参数。但是yarn/spark并没有给出一种方法可以确定一个
app的实际内存用量。这就导致调参数很大程度上只能是guesstimate。
我起了一个github project可以指定一个app ID，然后通过日志分析给出这个app的每
个yarn container实际最高内存使用量。这样开发的时候用这个脚本确定内存用量后，
提交任务的时候就可以设置更加准确的值，避免出现占着毛坑不拉屎的情况。
https://github.com/aaalgo/yarn-memory-tracker
比如
$ yarn-memory-tracker.sh application_1421176927536_0002
184 containers found for app application_1421176927536_0002
container_1421176927536_0001_01_000001: 0.254785 of 16.4 GB
container_1421176927536_0001_01_000002: 16.2 of 51.4 GB
container_1421176927536_0001_01_000003: 0.00107422 of 51.4 GB
container_1421176927536_0001_01_000004: 0.00107422 of 51.4 GB
container_1421176927536_0001_01_000005: 12.5 of 51.4 GB
...... | w***g
发帖数: 5958 | 2 我发现不同系统似乎移植性并不太好。版上要是有同学能提供yarn日志共测试的话欢迎
和我联系。过两天我有空了会加一个图形界面。
【在 w***g 的大作中提到】
: 【 以下文字转载自 Programming 讨论区 】
: 发信人: wdong (cybra), 信区: Programming
: 标 题: 通过日志分析yarn app实际内存用量
: 发信站: BBS 未名空间站 (Tue Jan 13 15:05:17 2015, 美东)
: 上次介绍过yarn/spark怎么调参数。但是yarn/spark并没有给出一种方法可以确定一个
: app的实际内存用量。这就导致调参数很大程度上只能是guesstimate。
: 我起了一个github project可以指定一个app ID，然后通过日志分析给出这个app的每
: 个yarn container实际最高内存使用量。这样开发的时候用这个脚本确定内存用量后，
: 提交任务的时候就可以设置更加准确的值，避免出现占着毛坑不拉屎的情况。
: https://github.com/aaalgo/yarn-memory-tracker
|
|
