11.042016

Black Box Challenge. Если ботов создают - значит - это кому-нибудь нужно?

Интервью


1 марта при поддержке Data-Centric Alliance стартовал проект Black Box Challenge – соревнование по машинному обучению и анализу данных. Пока сильные умы, вдохновленные темами машинного обучения, анализа данных и искусственного интеллекта, соревнуются за призы в создании лучшего бота для игры, мы решили побеседовать с организаторами Black Box Challenge и выяснить, зачем они все это придумали.


Георгий Черемовский, один из организаторов Black Box Challenge
Георгий Черемовский, один из организаторов BlackBox Challenge

Ребята, для начала расскажите немного о себе.

Соревнование мы делали втроём, все с Физтеха. Третий сейчас усердно прогает из Берлина, поэтому расскажем про себя.

Георгий: Раньше я занимался машинным обучением в структурной биологии, на Физтехе и в INRIA в Гренобле. Предсказывал, насколько сильно маленькие молекулы будут связываться с белками-мишенями. Это важно в драг-дизайне ­— разработке новых лекарственных препаратов.

Александр: Привет, учился я на физика-теоретика в институте теоретической физики им. Ландау. Когда узнал про машинное обучение оно сразу захватило мой человеческий разум:) Сейчас, кстати, ситуация в ML очень похожа на ситуацию в физике в первой половине XX века -- идёт эпоха бурного развития и у многих есть шанс попасть в эту струю и сделать что-то крутое, используя простые идеи. Занимался статистическими исследованиями временных рядов (литературных текстов). Оказывается, что считая довольно простые статистики про текст, можно анализировать авторство и жанр.

Расскажите, кому пришла в голову идея организовать проект BlackBox Challenge и почему. Какая основная цель проекта.

Сила компьютерных ботов в различных играх является некоторым отражаением того, насколько человечество продвинулось в создании исскуственного интеллекта. Раньше подход был примерно такой: берём конкретную игру, например, шахматы и специально для них создаем очень сильного бота (Deep Blue в случае шахмат).
Следующая ступень развития: даём боту игру и он учится играть сам. Не так давно вышла уже ставшая легендарной статья от компании DeepMind (её купил Google). Используя нейронные сети они написали программу, которая сама учится играть в десятки игр Atari 2600 (например, знаменитые Space Invaders) на человеческом уровне.

Mail.ru ежегодно проводит соревнование Russian AI Сup, где смысл примерно похожий: нужно создать бота для данной игры — гонки, хоккей, и т.д.
Когда закончился очередной AI Сup, мы посмотрели на подходы победителей соревнований последних лет. Оказалось, что их идеи очень узкие и будут работать только для одной конкретной игры.

Мы подумали, что круто было бы организовать соревнование, где соревновались бы именно подходы обучения ботов. И из опыта Russian AI Cup, мы поняли, что надо сделать так, чтобы никто не знал правил нашей игры.

Какие сроки у этого проекта? Как вы планируете определять победителей?

Решения принимаются до 30 мая, то есть, ещё примерно два месяца.
Затем все боты будут протестированы на закрытом финальном уровне. По результатам этого тестирования будут распределены места и призы.
До 10-го июня мы объявим победителей.

Кто разрабатывал задачи для соревнования и по какому принципу они отбирались?

Задачу придумывали мы вместе. Хотелось придумать такую игру, которая удовлетворяла бы следующим критериям:
1. Мы хотели сделать именно Black Box челлендж, то есть правила работы черного ящика должно быть сложно понять, даже внимательно посмотрев на него. Это нужно, чтобы человек не смог разгадать игру и применить свои априорные знания о ней. Например, если бы кто-то понял, что это шахматы, тогда бы он просто загрузил в своего бота все известные дебюты. Мы же хотим, чтобы это было соревнование алгоритмов машинного обучения, а не априорных знаний.
2. Написать хорошего бота для игры должно быть сложно. Тут всё понятно: если выиграть в игру очень просто, это не интересно. Должен быть какой-то вызов. Этот пункт, похоже нам удался. Возможно, мы даже перестарались:) Как пишут на форуме соревнования, повторить результат нашего базового бота удаётся немногим.
3. В игру можно выиграть. Игра, которую вы придумаете может оказаться слишком сложной или вообще не решаемой. Из-за сложности многие быстро потеряют интерес и некого будет награждать. Мы пробовали разные версии наших правил и те правила, к которым мы сами не смогли придумать работающих ботов, отбрасывались.
Составить игру с хорошим балансом между интересностью и решаемостью оказалось непростой задачей, но, надеемся, у нас получилось.

Есть ли какие-то особые правила или критерии для участников?

На сайте конкурса мы выложили исходник нашего базового бота. Чтобы получить призы надо обогнать его более, чем на 1000 очков на финальном уровне. Мы ожидали, что для участников это будет простой задачей, но, судя по текущему лидерборду, это не так.
Всего пара десятков человек превзошли базовый результат, поэтому мы и решили продлить соревнование еще на месяц, вначале мы планировали завершить его 30 апреля.

Кого должно заинтересовать участие в состязании и почему?

Всех неравнодушных к темам машинного обучения, анализа данных и искусственного интеллекта.
Мы надеемся привлечь заядлых кагглеров необычным форматом конкурса. Специалистам в области reinforcement learning будет интересно опробовать свои теоретические идеи.
Возможно, кого-то заинтересует и наши призы: от XBox One до 300 тыс. руб. за первое место.
Кроме того, успешные участники получат приглашения на интервью на позиции по машинному обучению в комнании-партнеры, например, DCA.

Сегодня проводятся достаточно много различных конкурсов, олимпиад, хакатонов для программистов и аналитиков DataScience, многие крупные компании организуют подобные мероприятия на своих или сторонних площадках. Вообще какой смысл имеют такие мероприятия? Насколько они важны при работе над реальным проектом?

Можно очень долго слушать теоретические курсы Воронцова или Ng, но пока не попробуешь что-то сделать своими руками ничему не научишься.
Конкурсы и хакатоны — это отличная возможность отточить свои практические навыки и набраться опыта применения алгоритмов. С опытом участия в таких соревнованиях ты начинаешь понимать, что в каких случаях работает, как избежать переобучения, какие библиотеки использовать. Всё это, безусловно, пригождается в реальных проектах. К тому же, это просто весело.
Поэтому здорово, что сейчас проводится много подобных мероприятий.

Не поделитесь какими-то планами на ближайшее будущее?

BlackBox Challenge — наш первый опыт в проведениии соревнований. Мы уже извлекли из него много уроков и построили довольно большую инфраструктуру.
Мы хотим развивать нашу платформу и провести ещё не одно интересное соревнование на ней. Формат соревнований будет отличаться от каггловского. На каггле собралось прекрасное сообщество и конкурировать с кагглом на одном поле не имеет смысла.
А пока ещё целых два месяца до конца нашего челленджа, приглашаем всех принять в нём участие.

Теги: машинное обучение, анализ данных, искусственный интеллект

Читайте также: