Успехи машинного обучения в цифрах

Машинное обучение позволяет решать многие задачи гораздо эффективнее других подходов. Какого типа эти задачи и насколько существенно машинное обучение превосходит иные методы? Есть множество примеров успешного применения машинного обучения. Но, как говорил Менделеев, “наука начинается там, где начинается измерение.” Поэтому я сделал небольшую подборку успехов машинного обучения с конкретными цифрами.

1. ILSVRC (ImageNet)

Это первый пример, который приходит в голову. ILSVRC (ImageNet Large Scale Visual Recognition Challenge) – известные ежегодные соревнования систем компьютерного зрения, на которых команды исследователей со всего мира соревнуются в разработке систем для решения задач классификации, локализации и обнаружения объектов на изображениях. В 2012 году первое место с top-5 error 15.4% заняла сверточная нейронная сеть AlexNet [1]. При этом второе место заняла система с top-5 error 26.2%! Такая огромная разбежка в результатах потрясла сообщество исследователей компьютерного зрения и стала начальным рубежом эпохи глубокого обучения.

C 2012 года архитектуры сверточных нейронных сетей существенно продвинулись. В 2015 году нейронная сеть ResNet от Microsoft Research Asia достигла top-5 error 3.6%! Значительный результат, учитывая что человек в данном соревновании способен показать top-5 error на уровне 5-10% [2]. Но и этот результат был превзойден. В 2017 году нейронные сети достигли top-5 error 2.3% [3]!

2. Анализ дермоскопических изображений

В 2017 году в журнале Nature опубликованы результаты исследовательского проекта разработки алгоритмов анализа дермоскопических изображений [4]. Исследователи использовали глубокие сверточные нейронные сети для машинного обучения бинарной классификации между похожими доброкачественными и злокачественными образованиями кожи. В результате была достигнута точность классификации 72,1%, в то время как два привлеченных дерматолога смогли справиться с данной задачей только в 65,56% случаев! Возможно, именно машинное обучение сыграет одну из ключевых ролей в победе над раком кожи!

3. Обнаружение метастазов на микроскопических изображениях

Еще один впечатляющий пример применения машинного обучения в медицине. Исследователи представили фреймворк, позволяющий обнаруживать раковые опухоли 100x100 пикселей на гигапиксельных микроскопических изображениях размером 100’000x100’000 пикселей. Их способ использует глубокие сверточные нейронные сети и достигает точности 92.4%. До этого лучший автоматический метод работал с точностью 82.7%, а специалист в области патологий достиг точности 73.2% [5].

4. Игра го

Если в шахматы компьютерные программы играют лучше людей с 1997 года, то в игре го они долгое время даже близко не могли подобраться к победе над гроссмейстерами. Но машинное обучение изменило положение вещей. В марте 2016 года система AlphaGo, основанная на глубоком машинном обучении и методе Монте-Карло для поиска в дереве, выиграла со счётом 4—1 у Ли Седоля [6], многократного чемпиона мира по го. В 2017 году улучшенная версия системы AlphaGo Master провела несколько показательных игр и победила во всех, в том числе в игре против команды из пяти профессионалов максимального 9 дана [7].

5. Шахматы

Разработчики AlphaGo создали обобщенный вариант системы —— AlphaZero, который кроме го, умеет также играть в шахматы и сеги. Долгое время одним из сильнейших шахматных движков считался Stockfish. Из 100 игр против Stockfish с нормальным начальным положением AlphaZero выиграл 25 партий белыми, 3 чёрными и свёл вничью оставшиеся 72 [8].

6. Фильтрация спама

Наверное одно из самых первых комерческих применений классического машинного обучения. В 2002 году Пол Грэм писал, что, согласно исследованиям, самый лучший на тот момент спам-фильтр на основе ключевых слов определяет только 24% спама при 34% ложноположительных срабатываний [9]. При этом его метод фильтрации спама на основе Байесовского классификатора правильно определял 99.5% спама c 0% ложноположительных срабатываний [10].

Вывод

Анализ этих примеров позволяет лучше понимать, в каких задачах машинное обучение работает эффективнее всего. Объективно, это не творческие задачи, в данных задачах необходимо на основе входных данных выбрать верное решение из некоторого ограниченного множества возможных решений. Но это те задачи, для которых не существует четких алгоритмов и правил, позволяющих гарантировано получить верный ответ. Обычно для таких задач используются различные эвристические методы. И машинное обучение во многих случаях позволяет на основе данных получить лучшие эвристики, которые значительно превосходят спроектированные вручную алгоритмы. Поэтому именно машинное обучение позволит нам подойти к решению таких задач, о которых мы раньше не осмеливались и думать!

Ссылки:

1. Результаты LSVRC 2012.
2. Замечательная статья Андрея Карпатого о ручном распознавании изображений ImageNet.
3. Результаты LSVRC 2017.
4. A. Esteva, B. Kuprel, R.A. Novoa, J. Ko, S.M. Swetter, H.M. Blau , S. Thrun. Dermatologist-level classification of skin cancer with deep neural networks. Nature 542, 115–118 (2017)
5. Detecting Cancer Metastases on Gigapixel Pathology Images (arXiv:1703.02442)
6. Why the Final Game Between AlphaGo and Lee Sedol Is Such a Big Deal for Humanity
7. AlphaGo takes the series title
8. ‘Superhuman’ Google AI claims chess crown
9. Paul Graham. Filters vs. Blacklists
10. Paul Graham provides stunning answer to spam e-mails