Система AlphaStar обыграла всех ведущих игроков

Система искусственного интеллекта (ИИ) AlphaStar, которую создали программисты Google и стартапа DeepMind, обыграла всех ведущих игроков в популярную компьютерную стратегию Starcraft II и обошла 99,8% геймеров в общем рейтинге. Об этом сообщают ученые в статье, которую опубликовал научный журнал Nature.

"Меня очень впечатлил стиль игры AlphaStar. Она очень умело оценивает свою стратегическую позицию и точно знает, когда должна вступить в сражение с соперником, а когда стоит отступить. При этом я не чувствовал, что играл со сверхчеловеком, которого в принципе нельзя превзойти. Мне казалось, что мне противостоит реальный человек", - прокомментировал игру искусственного интеллекта один из ведущих игроков в Starcraft II Дарио Вюнш.

Создатели системы AlphaStar, британский программист Дэвид Сильвер и его коллеги по стартапу DeepMind и компании Google, уже несколько лет лидируют в разработке систем игрового ИИ на базе глубинных нейросетей и методов машинного обучения. Пять лет назад они стали известны всему миру благодаря созданию AlphaGo, первой системы ИИ, которая смогла победить чемпиона Европы по игре в древнекитайскую настольную стратегическую игру го. Ранее ее считали слишком сложной для компьютеров. Более совершенные версии системы, AlphaGo Zero и AlphaZero, научились совершенствоваться без участия человека, играя сами с собой, а также освоили другие классические игры, среди которых обычные и японские шахматы.

Сильвер и его команда смогли достичь этих успехов, построив системы Alpha на базе не одной, а сразу двух нейронных сетей - компьютерных алгоритмов, которые имитируют работу цепочек нейронов в мозге человека. Одна из них отвечает за оценку текущей позиции игрока на доске или поле, а вторая использует результаты анализа первой сети, чтобы выбирать следующий шаг и ускорять расчеты, отсеивая невозможные варианты.

Триумф машинного разума

Два года назад специалисты DeepMind переключили свое внимание на компьютерные игры, приспособив AlphaZero для работы с менее абстрактными и более сложными наборами данных, в том числе той картинкой, которую игрок видит на мониторе. Первой жертвой их нового ИИ стал популярный шутер Quake III Arena, а в начале этого года он победил двух ведущих игроков в Starcraft II - нидерландца Дарио Вюнша и поляка Гжегоша Коминча.

Первая версия AlphaStar, как отмечают Сильвер и его коллеги, обладала некоторыми неестественными чертами. В частности, она выполняла намного больше тактических действий, чем профессиональные игроки, так как ей не приходилось двигать реальную мышку и нажимать на кнопки клавиатуры, могла видеть заметно большую часть карты, чем игроки, а также не умела самостоятельно играть с другими игроками в сети.

Программисты DeepMind исправили эти недочеты, а также поменяли методику обучения AlphaStar, заставив ее играть не саму с собой, а внутри своеобразной виртуальной лиги ИИ, в которой были объединены разные версии этой машины. Благодаря этому ИИ перестал забывать более простые стратегии, которые вырабатывал на прошлых стадиях развития, что обогатило его репертуар и почти удвоило уровень игры.

Минувшим летом ученые получили возможность проверить силы AlphaStar в реальной игре, встроив свою систему в сеть компании Blizzard, разработчика StarCraft II. Как показали последующие наблюдения, ИИ Google вышел на гроссмейстерский уровень и в общем рейтинге оказался выше, чем 99,8% игроков. Этот успех, как считают Сильвер и его коллеги, говорит о том, что ИИ может решать самые сложные задачи и в реальном мире.

"История прогресса в развитии ИИ напрямую связана с играми. После того как нейросети победили человека в шахматы, го и покер, Starcraft стал следующей большой научной задачей. Мы решили ее, используя универсальные методы обучения ИИ, которые можно применить и для решения других сложных проблем", - подытожил Сильвер.