Искусственные нейронные сети лучше обучаются, когда им дают время на отдых

Качественный отдых помогает в обучении не только живым организмам. Исследователи из Калифорнийского университета в Сан-Диего обнаружили, что периоды отключения от сети во время обучения смягчают "катастрофическое забывание" в вычислительных системах.
В зависимости от возраста, человеку требуется от 7 до 13 часов сна в сутки. За это время тело расслабляется, а мозг перерабатывает информацию, полученную за день.
По словам профессора медицины и исследователя сна в Медицинской школе Калифорнийского университета в Сан-Диего Максима Баженова, сон помогает реорганизовать воспоминания и представить их в наиболее эффективном виде. Он развивает рациональную память, способность запоминать произвольные или косвенные ассоциации между объектами, людьми или событиями, а также защищает от забывания воспоминаний.
Искусственные нейронные сети используют архитектуру человеческого мозга для совершенствования многочисленных технологий и систем, от фундаментальной науки и медицины до финансов и социальных сетей. В некоторых отношениях они достигли сверхчеловеческой производительности, например, в скорости вычислений, но в одном ключевом аспекте они не справляются: когда искусственные нейронные сети обучаются последовательно, новая информация перезаписывает предыдущую – это явление называется катастрофическим забыванием.
"В отличие от этого, человеческий мозг учится непрерывно и включает новые данные в существующие знания, – говорит Баженов. – Мозг учится лучше всего, когда новое обучение чередуется с периодами сна для консолидации памяти".
Баженов и его коллеги предположили, что биологические модели могут помочь уменьшить угрозу катастрофического забывания в искусственных нейронных сетях, повышая их полезность в различных сферах научных интересов.
Ученые использовали так называемые шипованные нейронные сети, которые искусственно имитируют естественные нейронные системы. В них информация передается не непрерывно, а в виде дискретных событий (шипов) в определенные моменты времени.
Исследователи обнаружили, что периоды отключения от сети, имитировавшие сон, смягчали катастрофическое забывание. По словам авторов исследования, "сон" позволял сетям воспроизводить старые воспоминания без явного использования прежних данных для обучения.
В человеческом мозге воспоминания представлены паттернами так называемого синаптического веса – силой или амплитудой связи между двумя нейронами.
"Когда мы усваиваем новую информацию, нейроны выстреливают в определенном порядке, и это увеличивает синапсы между ними", – говорит Баженов. Во время сна происходит спонтанное повторение паттернов, усвоенных в состоянии бодрствования. Это называется реактивацией или воспроизведением.
"Синаптическая пластичность, то есть способность видоизменяться, сохраняется во время сна, и она может еще больше усилить паттерны синаптического веса, помогая предотвратить забывание или обеспечить перенос знаний от старых задач к новым".
Когда Баженов и его коллеги применили этот подход к искусственным нейронным сетям, они обнаружили, что он помогает сетям избежать катастрофического забывания, обеспечивая непрерывность их обучения.
Исследование вышло в журнале PLOS Computational Biology.
Редактор: Софья Люттер