Специалисты Центра практического искусственного интеллекта Сбербанка совместно с учеными Московского физико-технического института (МФТИ) предложили инновационный подход к оптимизации распределенного обучения нейросетевых моделей, который позволяет существенно снизить нагрузку на вычислительные ресурсы.
Разработка направлена на решение актуальной проблемы обработки огромных массивов данных современными моделями искусственного интеллекта, оперирующими миллиардами параметров. В таких условиях распределенное обучение на тысячах устройств становится необходимостью для ускорения процесса, однако значительная доля времени тратится на обмен информацией между вычислительными машинами.
Предложенный российскими исследователями метод основан на использовании гомогенности (однородности) локальных выборок данных и применении технологий сжатия передаваемой информации. Это позволяет уменьшить частоту синхронизации устройств и объем передаваемых данных без ущерба для качества модели, что особенно важно в сценариях с ограниченной пропускной способностью сетей.
«Комбинация гомогенности данных с техниками сжатия позволяет реже обмениваться информацией между сервером и устройствами, что не только ускоряет процесс, но и снижает энергозатраты», — пояснил директор Центра практического искусственного интеллекта Сбербанка Глеб Гусев.
По словам кандидата физико-математических наук, доцента МФТИ Александра Безносикова, целью работы было объединение ускорения, сжатия и учета похожести данных в алгоритм с теоретическими гарантиями.
Разработка, представленная в исследовании «Ускоренные методы со сжатыми коммуникациями для гомогенных задач распределённой оптимизации», принята на престижную международную конференцию AAAI’25 Ассоциации по развитию искусственного интеллекта.
Новый метод найдет применение в финансовой, телекоммуникационной и промышленной отраслях, где распределенное обучение помогает сократить затраты на ресурсы и ускорить внедрение технологий искусственного интеллекта.
Понравилась новость? Добавьте в избранное Дзен Новости, присоединяйтесь к нашим сообществам ВКонтакте, ОК и нашему Telegram-каналу.