Ансамбль сверточных нейронных сетей для распознавания образов?

#машинное_обучение #искусственный_интеллект #распознавание_образов #нейронные_сети

Целесообразно ли использовать ансамбль сверточных нейронных сетей (convolutional
neural network) для задач распознавания образов?

Согласно следующей англоязычной статье и соответствующей презентации, использование
ансамбля сверточных нейронных сетей ведет к значительному снижению ошибок. Показано
на примере распознавания образов цифр из базы MNIST. 


  Показано, что с увеличением количества моделей в ансамбле растет
  точность распознавания: 
  Ансамблевый алгоритм может привести не только к улучшению точности
  распознавания, но и к уменьшению времени, затраченному на обучение.


Я не смог найти год публикации данной статьи, также как и ученую степень ее автора.
Возможно, использование ансамбля сверточных нейросетей уже не актуально на сегодняшний
день или показало свою несостоятельность в задачах распознавания образов.



Также я обратил внимание на следующую русскоязычную статью датируемую 2012 годом:


  Актуальные вопросы использования сверточных нейронных сетей и их комитетов в распознавании
образов цифр (Кузьмицкий Н.Н., 2012, pdf)


Здесь также производится распознавание образов цифр из различных баз. В статье и
работе наглядно продемонстрирована эффективность применения комитетов CNN, обученных
на базах с различным стилем начертания.

Вот одна из таблиц сравнения точности распознавания комитетами нейросетей и системы
KADMOS:


  




Но сам я сталкивался с противоположными мнениями экспертов, которые утверждали, что
использование ансамблей сверточных нейронных сетей не является актуальным на сегодняшний
день. Согласно их мнению, сегодня решение задач распознавания образов больше сконцентрировано
на оптимизации одной модели нейросети, чем на использовании их ансамблей.

И все-таки как же обстоят дела в этом вопросе? На данный момент, имеются ли значимые
преимущества использования ансамбля сверточных нейронных сетей перед вариантом с одной
нейронной сетью (без ансамбля) в задачах распознавания образов или нет?
    

Ответы

Ответ 1

Данный ответ представляет собой перевод ответа пользователя Franck Dernoncourt в
следующем вопросе на англ. языке.




  На данный момент, имеются ли значимые преимущества использования ансамбля сверточных
нейронных сетей перед вариантом с одной нейронной
  сетью (без ансамбля) в задачах распознавания образов?


Эмпирически, ансамбли сверточных нейронных сетей (CNNs) часто дают некоторое преимущество
в сравнении с одной сверточной нейросетью. 



Пример классификации изображений приведен в статье авторов Krizhevsky Alex, Ilya
Sutskever и Geoffrey E. Hinton: 


  "ImageNet classification with deep convolutional neural networks/Классификация
изображений ImageNet с использованием сверточных нейронных сетей 
  (ENG, 2012, PDF)"


Там приведена следующая таблица: 


  
  Перевод: 
  Сравнение коэффициента ошибок на ILSVRC-2012 на проверочном/контрольном (validation)
и тестовом (test) множествах. Курсивом обозначены лучшие результаты, достигнутые другими
алгоритмами. Модели со звездочкой* были предварительно обучены классификации всей базы
изображений ImageNet 2011 (осенний релиз). Более подробно см. раздел 6. 




На примере машинного перевода (c использованием LSTM сетей) имеется статья авторов:
Sutskever Ilya, Oriol Vinyals, и Quoc V. Le:


  Sequence to sequence learning with neural networks/Обучение типа
  “последовательность-в-последовательность” с нейронными сетями (ENG, 2014, PDF)


В статье приведена таблица:


  
  Перевод: 
  Эффективность LSTM на WMT 2014 на тестовом множестве "С английского на французский
(ntst14)". Обратите внимание, что ансамбль из 5 LSTM сетей с размером пучка (beam size)
2 дешевле, чем одна LSTM-сеть с размером пучка 12.