Нейросеть научили языку по аудиозаписям из жизни младенцев

Американские ученые обучили языковую модель на аудиозаписях, которые фиксировали первые тысячу дней языковой среды младенцев. Ключевым для успеха оказалось многократное повторение услышанных слов и возвращение к прослушанному в конце дня — это подтверждает известные представления об обучении и памяти. Исследование опубликовано в Science. Об этом сообщает портал N + 1.

Ученые под руководством Ури Хассона из Принстонского университета создали для каждого из восьми детей отдельную модель, не закладывая в нее никаких языковых знаний. Нейросеть обучалась только на той информации, с которой сталкивался ребенок, а данные обрабатывались день за днем в том порядке, в котором их получал малыш. В конце каждого дня модель повторно обращалась к пройденному материалу, имитируя консолидацию памяти во время сна.

Моделям потребовался примерно один смоделированный год, чтобы научиться распознавать звуки англоязычной речи, а затем построить словарный запас в несколько тысяч слов. Динамика роста словаря почти полностью совпала с показателями реальных детей.

Критически важной оказалась плотность входящих данных: модели, получавшие лишь часть записей, усваивали значительно меньше слов. Не менее важным стало возвращение к изученному за день ночью — без этого слова усваивались с трудом даже при большом объеме информации. В будущих исследованиях в модели планируют добавить жесты и мимику, чтобы приблизить процесс обучения к реальной жизни.