UEI Corporation is a user on mstdn.uei.co.jp. You can follow them or interact with them if you have an account anywhere in the fediverse. If you don't, you can sign up here.
UEI Corporation @info

Parallelizing Linear Recurrent Neural Nets Over Sequence Length
系列長に亘って線形リカレントニューラルネットを並列化する
arxiv.org/abs/1709.04057

要約:リカレントニューラルネットワーク(RNN)は、連続データをモデル化するために広く使用されているが、シーケンス要素間のそれらの非線形依存性は、シーケンス長に対する並列化トレーニングを妨げる。線形シーケンシャル依存性のみを持つRNNのトレーニングは、パラレルスキャンアルゴリズムを使用してシーケンス長にわたって並列化することができ、小さなミニセットサイズの長いシーケンスを迅速にトレーニングすることができます。以前の線形シーケンスモデルを線形代理RNNの新しいフレームワークに抽象化し、並列線形rによって駆動される線形代用ロング短期記憶(LS-LSTM)を開発する...