Машинное обучение может тратить меньше ресурсов — доказали ученые ВШЭ
Математики из Института искусственного интеллекта и цифровых наук ФКН НИУ ВШЭ совместно с международной группой исследователей теоретически обосновали простой метод оценки неопределенности для стохастического градиентного спуска (SGD). Об этом CNews рассказали представители вуза. Об этом сообщает издание CNews.
Стохастические алгоритмы, включая SGD, активно применяются в оптимизации и машинном обучении. Из-за использования случайных элементов, например мини-батчей данных, важной характеристикой их решений становится доверительный интервал — диапазон, где с высокой вероятностью находится истинное решение. Традиционные способы его построения требуют сложных статистических оценок, в частности явной оценки предельной ковариационной матрицы, что может быть затратно по времени и ресурсам или давать неточные результаты.
Ковариационная матрица — это таблица, показывающая, как несколько случайных величин связаны друг с другом и как они разбросаны относительно средних значений.
Исследователи проанализировали один из эмпирически популярных подходов к оценке доверительных интервалов для усредненного SGD, который не требует повторного обучения модели и сложных вычислений. Авторы доказали, что он корректно воспроизводит распределение усредненного решения SGD и не нуждается в явной оценке предельной ковариации.
«Подобные методы уже применялись на практике, и часто они показывали лучшие результаты по сравнению с альтернативами. Мы хотели понять причину этого эмпирического преимущества и смогли дать ему строгую математическую интерпретацию», — отметила Марина Шешукова, младший научный сотрудник Международной лаборатории стохастических алгоритмов и анализа многомерных данных Института ИИиЦН ФКН НИУ ВШЭ.
Математическое доказательство позволяет пересмотреть отношение к простым эмпирическим методам оценки точности в машинном обучении: разработчики смогут получать надежные оценки неопределенности быстрее и с меньшими вычислительными затратами. Это особенно важно в областях, где критично знать не только предсказание, но и степень уверенности в нем, — например, в медицине, финансах и автономных системах.
