通过日志分析yarn app实际内存用量 - Programming版

本页内容为未名空间相应帖子的节选和存档，一周内的贴子最多显示50字，超过一周显示500字访问原贴

Programming版 - 通过日志分析yarn app实际内存用量

相关主题
● nodejs到底有啥好的？大牛给解释解释？	● 如何提高Spark在Yarn上的内存使用率
● How to send a structure containing a pointer over socket?	● Hadoop 和Python的数据分析包哪个更值得学习？
● std::map 为什么没有排序呢	● Yarn的设计根本就是错的
● Go’s path to becoming a Top 10 if not Top 5 language	● 感觉flink出来之后，hadoop就显得不怎么再需要了
● 有谁玩过C* + Spark?	● 搞不懂为什么大牛说Hbase不如C*?
● 关于 SPARK, 问二爷peking2 和其他大牛一问题	● 怎样schedule spark application
● docker的newbie 问题	● 大牛说说用scala自己能做啥project
● 如何从代码里向yarn动态提交一个spark job	● jvm上3大脚本语言

相关话题的讨论汇总
话题: gb话题: container话题: 0001话题: yarn

进入Programming版参与讨论

(共1页)

w***g
发帖数: 5958

上次介绍过yarn/spark怎么调参数。但是yarn/spark并没有给出一种方法可以确定一个
app的实际内存用量。这就导致调参数很大程度上只能是guesstimate。
我起了一个github project可以指定一个app ID，然后通过日志分析给出这个app的每
个yarn container实际最高内存使用量。这样开发的时候用这个脚本确定内存用量后，
提交任务的时候就可以设置更加准确的值，避免出现占着毛坑不拉屎的情况。
https://github.com/aaalgo/yarn-memory-tracker
比如
$ yarn-memory-tracker.sh application_1421176927536_0002
184 containers found for app application_1421176927536_0002
container_1421176927536_0001_01_000001: 0.254785 of 16.4 GB
container_1421176927536_0001_01_000002: 16.2 of 51.4 GB
container_1421176927536_0001_01_000003: 0.00107422 of 51.4 GB
container_1421176927536_0001_01_000004: 0.00107422 of 51.4 GB
container_1421176927536_0001_01_000005: 12.5 of 51.4 GB
......

g*******t
发帖数: 7704

大牛，有货，

(共1页)

进入Programming版参与讨论

相关主题
● jvm上3大脚本语言	● 有谁玩过C* + Spark?
● swift行情很好啊	● 关于 SPARK, 问二爷peking2 和其他大牛一问题
● 单机学习spark/hadoop的方案？	● docker的newbie 问题
● Angularjs + Spark ?	● 如何从代码里向yarn动态提交一个spark job
● nodejs到底有啥好的？大牛给解释解释？	● 如何提高Spark在Yarn上的内存使用率
● How to send a structure containing a pointer over socket?	● Hadoop 和Python的数据分析包哪个更值得学习？
● std::map 为什么没有排序呢	● Yarn的设计根本就是错的
● Go’s path to becoming a Top 10 if not Top 5 language	● 感觉flink出来之后，hadoop就显得不怎么再需要了

相关话题的讨论汇总
话题: gb话题: container话题: 0001话题: yarn

#	版面	帖数(主题数)
-	全站	4871 (796)
1	Military	3777 (569)
2	Stock	341 (51)
3	Joke	117 (17)
4	History	116 (3)
5	Automobile	100 (9)
6	USANews	55 (9)
7	Midlife	45 (1)
8	Headline	41 (41)
9	Dreamer	33 (13)
10	FleaMarket	32 (20)
11	Living	30 (7)

boards

未名新帖统计// 7月16日

历史上的今天