MIPT Deep Learning Club #13

Taras Khakhulin about “Breaking the Softmax Bottleneck: A High-Rank RNN Language Model”

“В статье рассмотрена задача построения языковой модели с точки зрения факторизации матриц. Авторы показывают о существовании у Softmax “bottleneck”, который влияет на выразительность модели. Также предлагают решать сию беду с помощью смеси софтмаксов.

Результаты, полученные в статье, впечатляют. Проведено множество экспериментов и получены state-of-the-art результаты на большом количестве задач.

Как итог: даже очень крутая RNN модель будет ограничена выразительностью из-за высокорангового представления естественного языка.”