Искусственный интеллект в покере и не только

Прощай, лимитный холдем (2015)

Покорение покера программными методами началось в североамериканских университетах, с лимитного холдема один на один.

В статье мы подробно описываем стратегию бота на префлопе и разбираем для примера одну раздачу.

Изучать решённый «Цефеем» префлоп можно на сайте университета. Поддержка постфлопа и тренировочных матчей с ботом, похоже, уже отключена.

Анатомия лимитного холдема (2015)

Через несколько дней мы выпустили вторую часть статьи, посвящённой «Цефею».

В подборку раздач вошёл эпичный коллдаун с 4-хай и ряд примеров из творчества известных профессионалов. За исключением самой первой раздачи, мы приводим не только действия бота с пояснениями, но и комментарии Феруэлла – легендарного хайроллера и лучшего в истории лимитного холдема популяризатора этой игры.

Далее мы разбираем оптимальную машинную игру на двух текстурах – и , на которых людям особенно сложно защищаться с правильной частотой и правильными руками.

NLHU – человек против машины (2015)

В конце апреля того же года мы рассказали о матче уже по безлимитному холдему. Бот университета Карнеги-Меллон играл против четырёх хэдз-ап специалистов, сильнейший из которых – Даг Полк – был в то время признанным лидером человечества по игре один на один.

Чтобы как можно сильнее снизить вероятность случая, расклады карманных и общих карт в каждых двух матчах между людьми и компьютером были «зеркальными».

Много интересных раздач, комментарии игроков и разработчиков! Матч на момент написания статьи ещё продолжался, а человечество с оптимизмом смотрело в будущее.

Хэдз-ап против бота: люди пока сильнее (2015)

Итоги матча и впечатления его участников мы опубликовали в середине мая. Стоит отметить, что больше всех у машины выиграл Бьорн Ли – тот самый AsianFlushie, который сейчас играет в плюс хэдз-апы с Линусом Лёлигером.

Заголовок, на самом деле, слегка вводит в заблуждение: по мнению авторов эксперимента, на самом деле люди с ботом сыграли вничью! В статье мы объясняем, откуда взялось это противоречие.

Стоит обратить внимание на речь Дага Полка, в которой он слегка прошёлся по действиям организаторов и поделился впечатлениями от игры оппонента.

Кстати, как вы думаете, в чью пользу было бы считать олл-ины не по результату, а по эквити? Кому заметно больше везло в олл-инах, живым игрокам или машине?

Загадочный овербет искусственного интеллекта (2015)

Бонус вдогонку – глубокий разбор одной очень странной раздачи из этого матча, в котором поучаствовали Бен Сульски, Кевин Рабичоу, Ник Ховард и специалисты по GTO с форума 2+2.

Искусственный интеллект учится играть в трипл-дро (2015)

Этот текст предназначен для настоящих маньяков трипл-дро – или для тех, кто хочет освоить базовые принципы этой игры и проверить себя на Phenom Poker. Очень подробное обсуждение логики каждого решения и альтернативных вариантов – настоящий мастер-класс по 2-7 трипл-дро.

Создатель бота, американец Николай Яковенко, профессионально игравший в покер в начале 2010-х, давно ушёл в программирование и сейчас занимается проектом DeepNewz – лентой новостей, моделируемой нейросетью.

Статистическая победа (2017)

Через два года усилившийся ИИ покоряет-таки безлимитный холдем! Команда друзей Дага Полка, заметно ослабленная отсутствием AsianFlushie и самого Дага, демотивированного условиями предыдущего матча, терпит разгромное поражение от нового бота университета Карнеги – Меллон.

В статье можно ознакомиться с хроникой матча, его результатами, узнать о причинах поражения и разобрать самые глупые и самые гениальные раздачи в исполнении машины.

Как думаете, на какой улице превосходство машины над людьми больше всего? Донг Ким уверен, что правильный ответ очевиден.

Нейросеть пленяет шахматистов (2017)

Инициативу в создании нейросетей, способных обыграть кого угодно в сложные стратегические игры, подхватил Google. Нейронка от компании DeepMind сначала одолела чемпиона Европы по го (что примерно соответствует чемпиону Африки по лыжному спорту), а потом, почти без перерыва, легенарного корейского профессионала Ли Седоля. Ли Седоль выиграл у машины всего одну партию – но сейчас это выглядит грандиозным успехом, а об этой партии даже написали отдельную книгу.

Мы подробно рассказываем, как эти матчи повлияли на современное го. Однако основная часть статьи «Нейросеть пленяет шахматистов» посвящена успехам следующего проекта DeepMind – шахматной нейросети Alpha Zero.

Гроссмейстеры уже научились жить в мире, в котором они проигрывают смартфону. Теперь они наблюдают за тем, как в одночасье на их месте оказались ведущие движки старого поколения, о которые вытирает ноги нейросеть, изначально созданная для другой игры.

Мы подробно рассказали о том, как создавалась Alpha Zero, цитируем восхищённых шахматистов, скептических конспирологов и их оппонентов. В конце статьи приведена шедевральная партия Alpha Zero против Stockfish с большим количеством диаграмм, позволяющих следить за ходом игры без доски. Нейросеть жертвует фигуру, причём, можно сказать, интуитивно – математическое оправдание этой жертвы лежит далеко за пределами компьютерного перебора.

Эксперимент Facebook AI: Плурибус побеждает профессионалов, включая Линуса Лёлигера, в 6-макс (2019)

Летом 2019-го пал последний бастион покера – безлимитный холдем 6-max. Из-за сложностей работы с бесконечным числом сайзингов и мультипотами, а также в силу отсутствия равновесия Нэша за пределами игры один на один, многие эксперты предсказывали, что люди ещё долго будут сильнее машин на 6-max-столах. Но, как известно из анекдота, когда убегаешь от медведя, достаточно бежать быстрее товарища. Может быть, новый бот Карнеги – Меллона не так близок к божественному уровню, как «Цефей» в лимитном холдеме, но оказался достаточно сильным, чтобы побить всех, кроме Линуса Лава.

В статье мы рассказываем подробности эволюции «Плурибуса», детали постановки экспериментов, приводим их результаты и мнения участников, среди которых внезапно оказался Крис Фергюсон, показавший, как ни удивительно, отнюдь не худший лузрейт.

Так ли силён Плурибус? (2019)

По горячим следам у нас вышел лонгрид, вывод которого получился одновременно шокирующим и многообещающим.

Нейросеть DeepMind прошла Старкрафт? Объясняем, почему это не так (2019)

Ещё одна сенсация от DeepMind – достижение их ботом гроссмейстерского уровня в StarCraft 2. Выйти на высокий уровень в стратегии реального времени с туманом войны – это настоящее чудо. Вот только вопросов к этому результату оказалось слишком много. Мы не стали цитировать содержание статьи в Nature и её комплементарные пересказы в СМИ, а обратились к специалисту – Alex007, главному русскоязычному эксперту по Старкрафту. Эксклюзивное большое интервью с Алексом – праздник для любого любителя Старкрафта.

Как это ни парадоксально, агенты проявляют себя довольно по-разному в зависимости от расы. Такое впечатление, что у них разный уровень стратегической подготовки. Например, агента-зерга каждый раз откровенно ставила в тупик угроза с воздуха. Может быть, слишком малый процент реплеев, по которым он обучался, содержал примеры воздушной агрессии, особенно массовой. Агент-протосс действовал более разнообразно. У него тоже были странности в стратегии, но за счёт более богатого подбора билдов и, как следствие, составов армий он мог лучше реагировать на широкий спектр угроз. Думаю, поэтому агент-протосс и выступил на ладдере лучше всего. Почему-то – только DeepMind известно, почему – агент-протосс стратегически оказался сильнее.

Но это всё частности. В целом ситуация следующая: стратегически арсенал бедный, но неплохой. Большинство стратегий, отобранных для игры на ладдере, сами по себе весьма эффективны: упор на серьёзную халяву в начале с довольно слабой разведкой; практика показывает, что на высоком уровне это работает хорошо. На уровне ладдера 6000+ MMR пул стратегий в целом не очень широкий. Люди тренируют механику, шлифуют исполнение билдов, играют по лекалам профессионалов. Когда у тебя узкий диапазон стратегий и ты не особо разведываешь, тебе выгодно, чтобы у соперника тоже был узкий диапазон. Боты AlphaStar хорошо адаптированы к задачам, которые нужно было решать на ладдере.

Тему со Старкрафтом в DeepMind развивать не стали, а вместо этого пошли в химию. CEO DeepMind Демис Хассабис в прошлом году удостоился Нобелевской премии.

Прекрасный ум (2015)

Последняя статья в подборке, как несложно догадаться, посвящена памяти гениального Джона Нэша, без открытий которого не появилась бы ни одна из предыдущих.