Современные Хопфилдовские Нейронные Сети - Кротов Дмитрий (MIT-IBM Watson AI Lab, IBM Research)

Современные Хопфилдовские Сети, или модели Плотной Ассоциативной Памяти, представляют собой нейронные сети с набором фиксированных точек аттракторов к которым сходится реккуррентная динамическая траектория в пространстве нейронных состояний. В отличие от классических Хопфилдовских сетей, их современная модификация позволяет записывать и хранить экспоненциально большое количество памятей. Благодаря этому, с их помощью можно решать многие интересные задачи в машинном обучении и использовать эти математические модели для описания биологической памяти. Я расскажу про математическую теорию этих моделей и про конкретные практические задачи где эти идеи оказываются полезными. Я также приведу примеры этих моделей которые сводятся в предельных случаях к нейронным сетям которые используются на практике (например механизм внимания в трансформерах). Современные Хопфилдовские Сети также могут быть построены для архитектур с иерархической памятью (многоуровневая сетка), и в моделях с конволюцией. О докладчике: Дмитрий К