Новый метод оценки сложности данных нейросетей
AI Изображение создано с помощью ИИ и носит иллюстративный характер
Исследователи предложили размерность Патнаика-Пирсона для измерения внутренней размерности данных, формируемых нейронными сетями. Этот показатель связывает современные теории обучения с поведением трансформеров. Об этом сообщает портал Naked Science.
Внутренняя размерность определяет, насколько сложные данные обрабатывает модель. Традиционные методы, такие как анализ ближайших соседей, часто ненадежны. Новый подход основан на сопоставлении статистических моментов и свойств распределения Парето, что обеспечивает повышенную точность.
Анализ показал, что для пространств с примерно тысячей измерений размерность Патнаика-Пирсона составляет около 0,6. Это означает, что данные концентрируются в пространстве, близком к двумерному, что упрощает обучение.
Исследование выявило связь между новым методом и концепцией саморегуляризации для тяжелохвостых распределений. Показатель размерности напрямую связан с параметром, используемым в методе саморегуляризации.
Архитектура трансформеров опирается на механизм самовнимания, который вычислительно затратен. Внутренняя размерность данных может уменьшаться по мере прохождения информации через слои модели, что позволяет разрабатывать более эффективные архитектуры.
