j*****n 发帖数: 1545 | 1 看白天没看懂 这个 distribution over function 是怎么出来的。 | s******e 发帖数: 285 | 2 看Carl的这本书,讲的很仔细。
http://www.gaussianprocess.org/gpml/
简单的来说就是个stochastic process, assuming a
GP prior.
一般的算法是假设input x是normal distribution,
GP是假设function space f(x)是normal distribution.
对于regression来说,因为y的值是连续的,所以
likelihood function p(y|f(x))也可以表示为Gaussian
的形式,这样一来posterior p(y|x) = \int p(y|f(x)) p(f|x)
就也是guassian的了,due to conjugation.
Classification的情况复杂一些,需要一个 multi-logic
function来转换p(y|f(x)).
Christ Bishop的书也写得很浅显易懂。
【在 j*****n 的大作中提到】 : 看白天没看懂 这个 distribution over function 是怎么出来的。
| j*****n 发帖数: 1545 | 3
哦。 我就是在看carl那本书。
我想解决一个问题,给了n个training 函数,有没有可能估计出这些函数的分布, 然后
我有一个新的函数,我想算一下这个函数出现的概率。 这个应该就是distribution
over function吧。
GP可以解决这个问题么?如果我已知这些函数都是gaussian mixture的话。
【在 s******e 的大作中提到】 : 看Carl的这本书,讲的很仔细。 : http://www.gaussianprocess.org/gpml/ : 简单的来说就是个stochastic process, assuming a : GP prior. : 一般的算法是假设input x是normal distribution, : GP是假设function space f(x)是normal distribution. : 对于regression来说,因为y的值是连续的,所以 : likelihood function p(y|f(x))也可以表示为Gaussian : 的形式,这样一来posterior p(y|x) = \int p(y|f(x)) p(f|x) : 就也是guassian的了,due to conjugation.
| s******e 发帖数: 285 | 4 什么叫n个training函数啊,GP对所有点用的是同样的函数。
distribution over function是说the value forms a normal
distribution。
【在 j*****n 的大作中提到】 : : 哦。 我就是在看carl那本书。 : 我想解决一个问题,给了n个training 函数,有没有可能估计出这些函数的分布, 然后 : 我有一个新的函数,我想算一下这个函数出现的概率。 这个应该就是distribution : over function吧。 : GP可以解决这个问题么?如果我已知这些函数都是gaussian mixture的话。
| j*****n 发帖数: 1545 | 5
就是说 f1(x),f2(x),....fn(x) x都是定义在(0,1)之间的。
我要求p(g(x)|f1(x),f2(x),...,fn(x)).
这个是distribution over function吗。我觉得可以理解成infinite number的joint
distribution
【在 s******e 的大作中提到】 : 什么叫n个training函数啊,GP对所有点用的是同样的函数。 : distribution over function是说the value forms a normal : distribution。
| s******e 发帖数: 285 | 6 g(x)如果是已知的那这个就是likelihood function.
【在 j*****n 的大作中提到】 : : 就是说 f1(x),f2(x),....fn(x) x都是定义在(0,1)之间的。 : 我要求p(g(x)|f1(x),f2(x),...,fn(x)). : 这个是distribution over function吗。我觉得可以理解成infinite number的joint : distribution
| K****n 发帖数: 5970 | 7 GP framework里面并没有你列出来的这种"distribution over function",如果你是指
在parameter或者hyperparameter的domain里面做bayesian来估算分布的话,不一定要
GP。
我觉得单纯的GP无助于这个问题,它就是一种比较灵活的方程,参数多或者都
nonparametric了。我理解distribution over function就是说它是一个
hyperparameter有概率的nonparametric的 regression/classification model
【在 j*****n 的大作中提到】 : : 就是说 f1(x),f2(x),....fn(x) x都是定义在(0,1)之间的。 : 我要求p(g(x)|f1(x),f2(x),...,fn(x)). : 这个是distribution over function吗。我觉得可以理解成infinite number的joint : distribution
|
|