★ FEATURED ARTICLE 前馈网络 无法处理序列问题假设每次输入都是独立的也就是说每次网络的输出只依赖于当前的输入。连接存在层与层之间每层的节点之间是无连接的。无循环输入和输出的维数都是固定的不能任意改变。无法处理变长的序列数据。如何实现有记忆的模型呢我们引入有限状态机每个状态都是一个记忆延时神经网络引入延时器记忆但是有数量限制k个循环神经网络循环神经网络通过使用带自反馈的神经元能够处理任意长度的时序数据图中显示隐藏层输出ht是由前一个时刻的隐状态ht-1和输入xt决定的同时将当前隐状态输出ht存入寄存器。隐藏状态是一个压缩的记忆试用的时候x是真实输入比如我输入后输出是爱输出隐藏内容是“我”的概念。第二个时间点输入是上一时刻的输出“爱”以及“我”的概念输出是自然输出隐藏内容是“我爱”的概念。第三个时间点输入是上一时刻的输出“自然”以及“我爱”的概念输出是EOS。RNN的应用序列分类输入是一个序列输出是一个标签。序列标注一个输入对应一个输出比如标注主谓宾定状补序列生成是输入一个序列输出一个序列。但是RNN有问题多步连乘存在爆炸和消失的问题容易忘记早期的记忆怎么办长程依赖问题梯度爆炸在惩罚项·中添加一个权重参数或者截断两侧的梯度梯度消失只能改模型LSTM必考是一种框架设计四层门控层对于RNN只能存储一个隐藏变量 没有长期保留信息的通路LSTM实现了长程依赖记忆路径将信息专门放到橙色的链路通过门控实现这里ppt讲的非常好变体输入门的量用1-遗忘门的量考虑ht-1是要处理的 那么要遗忘的要记忆的就一定等于1或者每一次门控都要考虑记忆☆ 考试画流程图 公式应用为什么LSTM能改善可以有选择的保留信息GRU历史信息哪些需要参与计算哪些需要写入再更新总结RNN应用Encoder-Decoder Seq2Seq编码器压缩元语句 然后decoder解码这个压缩语义 实现翻译 GRU训练的时候不可以使用自回归 否则会一路错下去在使用的时候才会使用自回归但是这样的代价是如果在推理的时候遇到错误的上下文输入时又会发生级联放大反转 可以剪短路径依赖 比如i和我反转后依赖路径很短注意力机制seq2seq要求encoder全部压缩所有上下文后再翻译越长压缩的损失越大如果能离散化 让每个词拥有自己的记忆锚点 翻译的时候就可以准确对应一个词 而不是塞一大段上下文了 decoder每次可以去原文搜索最相关的词模型不会强制规定一对一输出 而是允许所有encoder的隐藏状态参与输出 而是取所有上下文的权重和
阅读完成 · 觉得有帮助？
