c*****e 发帖数: 3226 | 1 不是有了 net input. 了,为何还要 tmd input gate? 这2个最后不是都进入 cell
state 么?
还有为何 input 要送到 output gate 和 forget gate?感觉就很操蛋, 网上没人讲为
何要这么设计,虽然我明白为何要 cell state to keep memory | c*****e 发帖数: 3226 | 2 自己顶一下,没人了解这个?不会吧,本版的牛人呢?
cell
【在 c*****e 的大作中提到】 : 不是有了 net input. 了,为何还要 tmd input gate? 这2个最后不是都进入 cell : state 么? : 还有为何 input 要送到 output gate 和 forget gate?感觉就很操蛋, 网上没人讲为 : 何要这么设计,虽然我明白为何要 cell state to keep memory
| w***g 发帖数: 5958 | 3 我觉得这个就是模拟人的行为.
input, forget, output都是行为, 所以都由state + observation决定.
下一个state由 input * observation + (1-forget) * 上一个state决定.
还是说得过去的.
input和forget是要决定当前state的, 所以不能去掉.
但是output看似可以由当前state决定. 但因为input = 0时其实input没有
进入当前state. 如果没有input直连output有些情况会不能模拟.
举个例子:
你骂我一句, 或者扇我一巴掌, 我都会无脑骂回去(输出).
但是你如果只是骂我一句没到input阈值, 我不会记仇(change state).
你如果删我一巴掌, 我就会记仇. 记了仇我不但骂回去, 还回
以后找机会黑你. 如果没有input直连output, 就做不到你骂我
一句我也立刻骂回去.
你说的也有理. 如果cell内部足够庞大足够flexible, 这种连接
应该自己就能train出来, 最多差一个clock cycle. 不需要人指定
得这么细致. 差得那个cycle人为硬加进去补足就行. 放到上面得例子
无非就是cell里多加了一个"不记仇但要骂回去"的状态. 只要脑子
快点,其实也可以.
这种东西都是一团糨糊说不清道不明, 看成败论英雄的.
谁accuracy高就是谁有理. 我没实战用过LSTM, 不敢说就是一坨屎.
【在 c*****e 的大作中提到】 : 自己顶一下,没人了解这个?不会吧,本版的牛人呢? : : cell
| e********d 发帖数: 1202 | | C*****5 发帖数: 8812 | 5 大牛解释的好。我个人体会有的问题LSTM效果就是比GRU好,什么原因也很难三言两语
说清楚。
【在 w***g 的大作中提到】 : 我觉得这个就是模拟人的行为. : input, forget, output都是行为, 所以都由state + observation决定. : 下一个state由 input * observation + (1-forget) * 上一个state决定. : 还是说得过去的. : input和forget是要决定当前state的, 所以不能去掉. : 但是output看似可以由当前state决定. 但因为input = 0时其实input没有 : 进入当前state. 如果没有input直连output有些情况会不能模拟. : 举个例子: : 你骂我一句, 或者扇我一巴掌, 我都会无脑骂回去(输出). : 但是你如果只是骂我一句没到input阈值, 我不会记仇(change state).
| c*****e 发帖数: 3226 | 6 感觉没有回答我原来的问题,我的问题是为何 input 要送到 net input,还要送到
input gate. 一个 input gate 不就可以控制 input 的百分比么?
【在 w***g 的大作中提到】 : 我觉得这个就是模拟人的行为. : input, forget, output都是行为, 所以都由state + observation决定. : 下一个state由 input * observation + (1-forget) * 上一个state决定. : 还是说得过去的. : input和forget是要决定当前state的, 所以不能去掉. : 但是output看似可以由当前state决定. 但因为input = 0时其实input没有 : 进入当前state. 如果没有input直连output有些情况会不能模拟. : 举个例子: : 你骂我一句, 或者扇我一巴掌, 我都会无脑骂回去(输出). : 但是你如果只是骂我一句没到input阈值, 我不会记仇(change state).
| s********k 发帖数: 6180 | 7 不用LSTM,老式的RNN什么都记忆,很容易一团糟,LSTM之后RNN才开始真的实战效果好把
cell
【在 c*****e 的大作中提到】 : 不是有了 net input. 了,为何还要 tmd input gate? 这2个最后不是都进入 cell : state 么? : 还有为何 input 要送到 output gate 和 forget gate?感觉就很操蛋, 网上没人讲为 : 何要这么设计,虽然我明白为何要 cell state to keep memory
|
|