由买买提看人间百态

boards

本页内容为未名空间相应帖子的节选和存档,一周内的贴子最多显示50字,超过一周显示500字 访问原贴
Programming版 - LSTM 是不是坨屎?
相关主题
Facebook的用CNN作翻译怎么性能超过RNN的how to code this question of LinkedIn (转载)
深度学习对时间序列数据有什么好办法吗?[转载] 简单的题都不敢做了.
seq-to-seq model的参数share吗?这道题有什么好思路?
胡扯几句什么叫Deep Learning入门面试题 -算法?
有没有做sentiment analysis的,求思路Help with a simple c-shell script.
volta一出,业余玩家都要玩完啦[合集] Solve this task using recursion. how to ?
马工能转数据分析师吗?[合集] google interview question
MatLab Codeany thoughts about matlab
相关话题的讨论汇总
话题: input话题: lstm话题: state话题: gate话题: cell
进入Programming版参与讨论
1 (共1页)
c*****e
发帖数: 3226
1
不是有了 net input. 了,为何还要 tmd input gate? 这2个最后不是都进入 cell
state 么?
还有为何 input 要送到 output gate 和 forget gate?感觉就很操蛋, 网上没人讲为
何要这么设计,虽然我明白为何要 cell state to keep memory
c*****e
发帖数: 3226
2
自己顶一下,没人了解这个?不会吧,本版的牛人呢?

cell

【在 c*****e 的大作中提到】
: 不是有了 net input. 了,为何还要 tmd input gate? 这2个最后不是都进入 cell
: state 么?
: 还有为何 input 要送到 output gate 和 forget gate?感觉就很操蛋, 网上没人讲为
: 何要这么设计,虽然我明白为何要 cell state to keep memory

w***g
发帖数: 5958
3
我觉得这个就是模拟人的行为.
input, forget, output都是行为, 所以都由state + observation决定.
下一个state由 input * observation + (1-forget) * 上一个state决定.
还是说得过去的.
input和forget是要决定当前state的, 所以不能去掉.
但是output看似可以由当前state决定. 但因为input = 0时其实input没有
进入当前state. 如果没有input直连output有些情况会不能模拟.
举个例子:
你骂我一句, 或者扇我一巴掌, 我都会无脑骂回去(输出).
但是你如果只是骂我一句没到input阈值, 我不会记仇(change state).
你如果删我一巴掌, 我就会记仇. 记了仇我不但骂回去, 还回
以后找机会黑你. 如果没有input直连output, 就做不到你骂我
一句我也立刻骂回去.
你说的也有理. 如果cell内部足够庞大足够flexible, 这种连接
应该自己就能train出来, 最多差一个clock cycle. 不需要人指定
得这么细致. 差得那个cycle人为硬加进去补足就行. 放到上面得例子
无非就是cell里多加了一个"不记仇但要骂回去"的状态. 只要脑子
快点,其实也可以.
这种东西都是一团糨糊说不清道不明, 看成败论英雄的.
谁accuracy高就是谁有理. 我没实战用过LSTM, 不敢说就是一坨屎.

【在 c*****e 的大作中提到】
: 自己顶一下,没人了解这个?不会吧,本版的牛人呢?
:
: cell

e********d
发帖数: 1202
4
肯定不是,但是你要嫌烦就gru吧
C*****5
发帖数: 8812
5
大牛解释的好。我个人体会有的问题LSTM效果就是比GRU好,什么原因也很难三言两语
说清楚。

【在 w***g 的大作中提到】
: 我觉得这个就是模拟人的行为.
: input, forget, output都是行为, 所以都由state + observation决定.
: 下一个state由 input * observation + (1-forget) * 上一个state决定.
: 还是说得过去的.
: input和forget是要决定当前state的, 所以不能去掉.
: 但是output看似可以由当前state决定. 但因为input = 0时其实input没有
: 进入当前state. 如果没有input直连output有些情况会不能模拟.
: 举个例子:
: 你骂我一句, 或者扇我一巴掌, 我都会无脑骂回去(输出).
: 但是你如果只是骂我一句没到input阈值, 我不会记仇(change state).

c*****e
发帖数: 3226
6
感觉没有回答我原来的问题,我的问题是为何 input 要送到 net input,还要送到
input gate. 一个 input gate 不就可以控制 input 的百分比么?

【在 w***g 的大作中提到】
: 我觉得这个就是模拟人的行为.
: input, forget, output都是行为, 所以都由state + observation决定.
: 下一个state由 input * observation + (1-forget) * 上一个state决定.
: 还是说得过去的.
: input和forget是要决定当前state的, 所以不能去掉.
: 但是output看似可以由当前state决定. 但因为input = 0时其实input没有
: 进入当前state. 如果没有input直连output有些情况会不能模拟.
: 举个例子:
: 你骂我一句, 或者扇我一巴掌, 我都会无脑骂回去(输出).
: 但是你如果只是骂我一句没到input阈值, 我不会记仇(change state).

s********k
发帖数: 6180
7
不用LSTM,老式的RNN什么都记忆,很容易一团糟,LSTM之后RNN才开始真的实战效果好把

cell

【在 c*****e 的大作中提到】
: 不是有了 net input. 了,为何还要 tmd input gate? 这2个最后不是都进入 cell
: state 么?
: 还有为何 input 要送到 output gate 和 forget gate?感觉就很操蛋, 网上没人讲为
: 何要这么设计,虽然我明白为何要 cell state to keep memory

1 (共1页)
进入Programming版参与讨论
相关主题
any thoughts about matlab有没有做sentiment analysis的,求思路
有人研究过BitCoin的算法和通讯协议吗? (转载)volta一出,业余玩家都要玩完啦
C -> assembly马工能转数据分析师吗?
Questions about arrow key in linux command promptMatLab Code
Facebook的用CNN作翻译怎么性能超过RNN的how to code this question of LinkedIn (转载)
深度学习对时间序列数据有什么好办法吗?[转载] 简单的题都不敢做了.
seq-to-seq model的参数share吗?这道题有什么好思路?
胡扯几句什么叫Deep Learning入门面试题 -算法?
相关话题的讨论汇总
话题: input话题: lstm话题: state话题: gate话题: cell