Исследовательская группа

Прикладное машинное обучение и глубокое обучение

NFNets: подход к порождению семейства нейросетей для распознавания изображений без использования BatchNormalization

May 11

В погоне за долями процентов top-1 accuracy на известном датасете ImageNet год за годом изобретаются новые подходы и техники, значительно продвигающие Deep Learning вперед. Одним из таких подходов, который считался в течение последних 6 лет краеугольным камнем архитектур для распознавания изображений является BatchNormalization с его вариациями. Без него градиенты взрываются на сетях значительной глубины в результате миллионов операций умножения-сложения. В то же время, начиная с 2019 года, в построении моделей для задач Image Recognition и Object Detection возобладал подход к автоматическому генерированию целых семейств моделей, варьирующихся по глубине, ширине и разрешению для изображений на входе. 

Авторы статьи “High-Performance Large-Scale Image Recognition Without Normalization”, используя методики автоматической генерации подобных семейств последовательно строят модели на базе классического ResNet, без использования BatchNormalization, которые в многих смыслах превосходят существующие SOTA модели в области распознавания изображений. Что это за метрика, выбранная для обоснования превосходства, как генерируются подобные модели, кому может понадобиться ResNet без BatchNormalization в 2021 году и нет ли во всей этой истории скрытой нормализации где-то еще, все это мы обсудим на семинаре.

Докладчик: Алексей Зиновьев, Kotlin For Data Science Team, JetBrains.

Язык доклада: русский.

Дата и время: 11 мая, 20:00.

https://us02web.zoom.us/j/430117051?pwd=TzdKNGRaUCsyMUZBL1UwWTlsOW8yZz09

Meeting ID: 430 117 051

Passcode: 025987