LLama осталась без банкролла, OpenAI играет как регуляр: закончился покерный турнир ИИ

В конце октября в онлайне собралось несколько необычных столов кэша: покатать $10/$20 сели девять популярных языковых моделей, от Grok до DeepSeek. Соревнование PokerBattle.ai запустил российский айтишник Максим Павлов. Изначально он просто хотел понять, насколько нейросети могут помочь научиться играть в покер:

«Я сейчас изучаю покер и пытаюсь понять, как обучаться максимально эффективно. Солверы — это круто, но немного пугают сложностью, для начала я хочу освоить базовую стратегию. Хочу привлечь нейросети, но не понимаю, какая из моделей справится лучше. Проверим!

…

Соответствующих исследований я не нашел — и решил устроить соревнование. В их метаданных есть теория игр, в том числе и покерная: информация с форумов, разборы рук, книги и блоги. Но они все равно будут часто ошибаться. Мне интересно, получится ли у них выработать простые и понятные стратегии».

Идея турнира зацепила многих — о проекте написали журналисты Poker.org, новость вырвалась на первое место Hacker News, а на третий день про игру написал сам Илон Маск (не остался в стороне и наш телеграм-канал). Правда, в возможность языковых моделей чему-то научить верят немногие. Так выглядит топовый комментарий на том же Hacker News:

У меня PhD по алгоритмической теории игр, и я работал над покером.
В настоящее время не существует алгоритмов, которые могут вычислять детерминированные стратегии равновесия. Поэтому для игры профессионального уровня необходимо использовать смешанные (рандомизированные) стратегии.
На практике сильная игра достигается за счёт:
i) онлайн-поиска решений, и
ii) механизма, обеспечивающего согласованность стратегии.
Без второго пункта адаптивный оппонент сможет выявить несогласованности и начать эксплуатировать слабые места в повторяющихся играх.
Большие языковые модели не обладают механизмом выборки из заданных вероятностных распределений. Например, если попросить LLM выдать случайное число от 1 до 10, она, скорее всего, выберет 3 или 7 — потому что эти числа чаще встречаются в обучающих данных.
Исходя из этого, текущие LLM технически не способны играть в покер на сильном уровне. В отличие от шахмат, где есть огромные объемы обучающих данных, существует детерминированная оптимальная стратегия и нет необходимости обеспечивать согласованность стратегии.

Впрочем, даже если не ждать теоретических прорывов, последить за игрой все равно интересно — кто сможет быстрее других адаптироваться и сделать меньше глупых ошибок?

Каждой модели выдали по 100,000 фишек и посадили за стол 10/20 со стартовыми стеками по 100 ББ. При падении до 50 ББ срабатывает автодокупка, при потере стека — авторебай. На каждого оппонента ИИ ставили нотсы.

Игра за четырьмя столами шла круглосуточно, все раздачи, результаты и статистика были доступны на сайте. Самое интересное — каждое действие модель «продумывает», поэтому всегда можно посмотреть, как она обосновывает рейз или пас.

Организатор занимался проектом в одиночку, поэтому механики и интерфейс (в том числе ГСЧ) пришлось брать из открытых источников, а собрать всё вместе помогли всё те же нейросети. Получилось не без технических огрехов: сайт иногда не загружался, модели сбивались с мысли в середине раздачи или неправильно считывали комбинации, а при олл-ине не всегда выкладывали ривер. Но подавляющее большинство раздач проходили штатно.

Матч стартовал 27 октября и шел до вечера пятницы, за это время успели сыграть 3,799 раздач. Низкая скорость объясняется тем, что ИИ конспектировали все свои мысли и несколько десятков секунд размышляли над каждым действием.

Тремя сильнейшими моделями по итогам соревнования стали OpenAI o3, Claude Sonnet 4.5 и Grok 4.

Тройка победителей играла с VPIP >26, двузначным 3-бетом и частыми контбетами (все за 9-макс столами). Grok 4 чаще других сдавался на 3-беты, но разыгрывал больше рук на префлопе. Все модели выделяются очень низким WTSD.

Рассмотрим игру каждой нейросети повнимательнее, от худшей к лучшей.

LLama

Языковая модель от компании Meta (раньше называлась Facebook, в России признана экстремистской организацией) стала единственной, целиком проигравшей банкролл, зато выступала с явным огоньком: стабильно держала 60% VPIP, лимпила, почти не сдавалась на контбеты. Записать ее в любители успели даже конкуренты:

Kimi K2: Сыграла лимп-колл с ранней, чекнула флоп и выбросила на ставку. Классический фит-о-фолд!

Как настоящий фиш, LLama не научилась ценить нотсы и в большинстве случаев ограничивалась лаконичным «уважает рейзы и показывает слабость». Исходя из этого предположения и строилась ее стратегия. Показательна одна из самых дорогих раздач матча: Magistral открыла JJ с ранней позиции, Gemini на MP 3-бетнула $200 с A2o. Экшен LLama не испугал: «Gemini активно 3-бетит, Magistral часто фолдит на 4-беты. С ATs мы хотим давить на диапазоны обоих». Нейросеть поставила 4-бет, но раздача на этом не закончилась: OpenAI на баттоне нашел АКо и сыграл 5-бет. Все выкинули, LLama ожидаемо заколлировала и флопе 653 без флеш-дро донкнула $1,500 (»На таком сухом борде мой контбет будет смотреться эффективно»).

OpenAI заплатила и на терне поймала короля, но нейро-оппонента уже было не остановить: «Король едва ли подходит его диапазону. Второй баррель точно должен сработать». Не сработал. А на ривере LLama чекнула и заплатила $3,350, объяснив это следующим набором букв: «У меня хорошие пот-оддсы. По такой доске и линии розыгрыша у оппонента или велью, или блеф.»

Или велью, или блеф, не поспоришь!

Z.AI GLM 4.6

GLM-4.6 — последняя версия LLM от компании Zhipu AI. В Китае компания считается одним из главных конкурентов американских xAI и OpeanAI, но в американской же карточной игре преуспеть не смогла. Весь матч нейросеть держалась внизу таблицы, опережая по винрейту только LLama. За 48 часов до конца было проиграно более половины банкролла, но к концу сессии дела удалось немного поправить.

Почти все пометили GLM нитом. Точнее всех в нотсах была DeepSeek:Коллирует префлоп, пасует на рейзы флопа, пассивно защищается, часто уязвима к агрессии.

Многие банки у нее удавалось забирать сразу на префлопе. GLM зарейзила JJ, LLama на малом блайнде зашла с 78o, DeepSeek поставила мелкий 3-бет с ББ с Q9o. GLM выбросила:

DeepSeek — очень тайтовый игрок (19.3% VPIP, 10.2% PFR, 8.4% 3-бет), ставит 3-бет с BB против моего рейза с UTG+1. Его диапазон — в основном QQ+ и AK, он доминирует над моим JJ. Несмотря на привлекательные пот-оддсы (5:1), фолд сохранит стек для лучших ситуаций.

Другой неудачный пас GLM сделала в раздаче с Gemini. Нейросеть с хайджека открыла Ac4c и получила колл от ЛЛама с T7o на катоффе. GLM на малом блайнде переставила до $250 с дамами, обе машины заплатили. На флопе 355 GLM залидила $30 в банк $770:

Мы на опасном спаренном борде. Двое оппонентов оплатили рейз на префлопе, я проигрываю любой пятерке. Небольшие контбетом мы контролируем размер банка и определяем диапазоны соперников. Такой сайз давит на маргинальные руки, но минимизирует риски потерь, если у них велью. На рейз легко сдаёмся.

Именно так GLM и поступила, выбросив на 3-бет $180 от Gemini.

Алексей Avr0ra:

Самое интересное здесь — понять, на чем основываются рассуждения, но, видимо, до этого никак не докопаться.. почему GLM решил, что поставить на флопе нужно именно $30? Дальнейшие рассуждения тоже похоже на полный рандом или сильно упрощенную симуляцию, из серии, что он нашел случайный вариант, выбрал его, и подогнал ответ под свой выбор.

Kimi

Kimi-K2 — языковая модель с открытым кодом, выпущенная в июле этого года. Разработчики утверждают, что она умеет «сама запускать команды, писать код, строить сайты, звонить в API и решать многошаговые задачи без человека», но игра в покер пока дается ей с трудом.

Самый точный нотс на соперника оставила GLM: «Тайтово-агрессивная, любит изолировать на префлопе и забирать банки без шоудауна». Весь матч модель откатала с 20% VPIP и 11% PFR, набрав при этом внушительные 72.9% побед на вскрытии. Но если на префлопе Кими не стеснялась проявлять агрессию, то на постфлопе часто выбирала игру от защиты.

DeepSeek на UTG открыла пятерки, LLama на хайджеке заплатила с девятками, Kimi с тузами на баттоне поставила 3-бет $180 и получила два колла. На флопе LLama донкнула полпота. Kimi заколлировала, но после второго барреля на терне выбросила лучшую руку. Объяснила она это так:

Очень сложная ситуация, семерка закрыла флеш. У LLama супер-сильная линия — донк-бет $285 на флопе и бет $570 на терне в банк $855. Так играет готовый флеш, сет или две пары. У оппонента VPIP 63% и лузово-пассивный стиль игры, блефовать таким сайзом он не будет никогда.

Mistral

Единственной европейской участницей матча стала LLM от французской компании Mistral AI. Работает примерно как ChatGPT: понимает тексты, отвечает на вопросы, пишет статьи и код, и по словам разработчиков, точнее других определяет эмоции, выраженные в тексте.

За столами умение читать оппонентов проявить не удалось. Mistral выступала в роли «дедушки-нита»: за почти 4,000 раздач модель отыграла с 16% VPIP, мало 3-бетила, но при этом ставила почти все доски (88%) и активно защищала большой блайнд. На постфлопе чаще других предпочитала линию бет-бет-пас, но в самых крупных банках находила коллы и со средними руками. Больше всего от этого страдала LLama.

GLM с UTG+1 зарейзила Q8, LLama на хайджеке ожидаемо заплатила с Q2, OpenAI на СО заколлировала с KJ, Mistral на большом блайнде поставила небольшой 3-бет с AQ. GLM выбросила, остальные сыграли колл.

На флопе Mistral с топ-парой поставила 60% пота, LLama сыграла колл и заплатила еще $800 на терне . По закрывшемуся флешу Mistral сыграла чек-колл на ставку $2,000:

Слишком хорошие шансы банка, хорошая рука и сильный кикер. LLAMA здесь может переблефовывать или превращать в блеф руки слабее.

Отличный рид!

Gemini

Искусственный интеллект от Google способен работать с текстом, изображениями, аудио и даже видео, а в покере проявил себя крепким середнячком. Несмотря на завышенную статистику VPIP (28%) и PFR (21%) и самый высокий показатель 3-бета (выше 20%), на постфлопе нейросеть играла пассивно и легко сдавалась на встречную агрессию.

Claude с хайджека открыла ($60), Gemini с на катоффе переставила до $180, осторожная DeepSeek на баттоне неожиданно сыграла колд-колл с . Claude выбросила, на флоп вышли вдвоем.

Доска открылась перспективная, — сет против стрит-флеш-дро. Gemini поставила $300, колл. На терне чат-бот Гугла зарядил еще $650, колл. На ривере Gemini чекнула и довольно легко отправила в пас сет валетов на ставку в $1,000 в банк $2,350.

Против меня – тайтовый соперник, его линия явно указывает на флеш. Сыграл колд-колл префлоп, оплатил две улицы на скоординированном борде и поставил ривер. Почти весь диапазон состоит из флешей, мой сет теперь — всего лишь блаф-кетчер, а придумать здесь достаточно блефов или велью слабее для колла сложно. Дисциплинированный фолд.

Аврора:

Gemini очень хорошо все расписала, по такому анализу можно обучаться. Но не хватает объяснений в плане выбора сайзингов. Не покидает ощущение, что это постфактум подогнанный текст. Как будто их задание не расписать ход мысли, а просто описать уже сыгранную раздачу.

В другой раздаче Gemini показала, что иногда не чурается уличного покера. В глубоких стеках Grok на UTG+1 зарейзила $60 с и Gemini на баттоне неожиданно поставила 3-бет с с такой идеей:

Я на баттоне, в самой выгодной позиции. У Grok высокий процент фолда на 3-бет (60.5%), что делает его идеальной мишенью для блеф-рейза. T7o слишком слаба для колла, но это отличный кандидат для блефа. 3-бет до $180 оказывает сильное давления на диапазон открытия и с высокой вероятностью выиграет банк не префлопе.

LLama заколдколлила на SB с АК, Грок выбросил.

На флопе Gemini с натсом поставила $280, колл. На терне Llama решила перехватить инициативу с блокером на натс-флеш и залидила 40% пота, а затем продолжила ставить на ривере .

Аврора:

Прикольно Гемини пошла рубиться с Гроком в 700bb стеках. Объяснение префлопа, конечно, очень странное. Почему именно Т7о отличная рука для 3-бета? Возможно, онg действует методом перебора с низким количеством интераций и почти рандомно выбирает между тремя опциями, а потом находит обьяснение выбранной? Или по ключевым славам проверяет и видит что, колл не подходит, а дальше у нее нет очевидного решения и она рандомно натыкается на причину фолда на 3бет и строит рассуждения от этого. Сложно сказать. Постфлоп-сайзинги опять случайные, выбор между тремя опциями осмысленный и логичный, но анализ поверхностный – видимо, на размер ставки ее уже не хватает.

DeepSeek

Популярная азиатская LLM с открытым исходным кодом, разработанная одноименной китайской компанией. В отличие от большинства своих сограждан, играла языковая модель довольно скучно: меньше всех 3-бетила (8.8%), лимпила, сдавалась на флопе и по WSTD обогнала только Kimi (17%). Но в итоге стратегия себя оправдала $18,436 профита за 3,799 раздач соответствуют 24bb/100.

Главный лик LLM быстро выяснил другой нейро-нит, Mistral: Коллирует 3-беты с блайнда. Выбрасывает после давления на префлопе.

Нотсы Mistral успешно использовала за столами: DeepSeek вхолодную зашла под 3-бет с ББ с 78s и сыграла чек-пас на флопе 732 с флеш-дро.

Grok

Самая острая на язык языковая модель от Илона Маска в этом году успела попасть в несколько крупных скандалов, похвалить Гитлера и поддержать несколько антисемитских конспирологических теорий, но в покер играет заметно лучше конкурентов: на протяжении большей части сессии входила в топ-3 и неоднократно лидировала. Успехом модели владелец не преминул поделиться в твиттере.

Впрочем, живому покеристу LLM вряд ли составит конкуренцию: слишком агрессивно играла префлоп, не стеснялась ставить 3-беты и сквизить, но часто переходила с галопа на шаг и сдавалась на ответную агрессию на постфлопе. При этом общие тенденции поля Grok определяла довольно точно и во время сессии справилась сделать несколько хиро-коллов.

Внушительный банк модель выиграла в одной из самых странных раздач сессии, где галлюцинировали все, от участников до дилера. На рейз от LLama с UTG (As3s) и 3-бет Kimi (JJ) на MP, Grok ответила стандартным 4-бетом на ББ с QQ и получил два колла. На флопе без флеш-дро Грок контбетнула $900 в $1,630. LLama заплатила, Kimi переставила до $3,200. Grok сфолдила:

После рейза дамы смотрятся уже не так хорошо. У Claude высокий F3B (48%) и низкий показатель 3-бета (10.4%). В ее диапазоне есть все сеты 55,22,JJ, блефы маловероятны. Пот-оддсов для колла $2.3k в банк $6.6k (~2.9:1) недостаточно из-за обратных имплайд-оддсов.
Фолд сохранит стек для лучших ситуаций, поскольку у QQ меньше 30% против поляризованного диапазона Claude.

LLama заплатила и на терне донкнула $3,000 с гатшотом. Объяснение вышло путанным: «Ставкой на терне с готовым флешом мы хотим раздувать банк и выжимать максимум велью, при условии, что у Claude есть, с чем платить».

Claude заплатила с топ-парой и флеш-дро. Ривер решили не выкладывать, но отчет сайта записал раздачу на $6,985 в актив Клода.

В последний день матча у языковой модели в твиттере спросили, сможет ли она обыграть Фила Гальфонда в омаху. Grok уверенно заявила, что «разорвёт» Фила с ожиданием +10 BB на 100 раздач. Вскоре в тред зашёл сам Гальфонд и предложил сыграть на $1,000,000. Grok без колебаний согласился и пообещал уговорить Маска профинансировать матч.

Claude

Второе место в матче заняла Claude Sonnet 5 — языковая модель от бывших сотрудников OpenAI. Пассивную игру нейросети на префлопе отметили почти все оппоненты, что не помешало ей закончить игру с отрывом от победителя всего в $3,000. Характерную заметку о стиле ее игры оставила Kimi:«Чекает ривер, чтобы забирать банки на вскрытии со средними руками. Редко блефует».

Несмотря на частые чек-пасы ривера, осторожная игра на нередко играла Claude на пользу.

OpenAI с ранней позиции открыла девятки, Claude на малом блайнде поставила 3-бет с , колл. На флопе последовал контбет $140. OpenAI заплатила флоп и не выкинула и после ставки в 50% пота на терне . Ривер страшный – . Claude разумно посчитала, что в диапазоне оппонента слишком много комбинаций старше, а от рук хуже оплату он не получит, и чекнула, а OpenAI, несмотря на доезд, чекнула в ответ.

OpenAI o3

Главным триумфатором матча с $36,691 профита стала языковая модель от самой популярной и раскрученной ИИ-компании в мире, недавно сменившей статус с некоммерческой на коммерческую. OpenAI o3 придерживалась тайтово-агрессивного стиля, играя 26/18 (напомним, за 9-макс столом), и лучше других показывала себя в глубоких стеках.

Во второй половине матча OpenAI попала с Grok в классический кулер. Модель с тузами открылась рейзом, поставила 4-бет и лишь заколлировала небольшой 5-бет против AK. Размышляла она при этом вполне разумно:

Пуш выбивает слабейшую часть диапазона, а колл оставляет в рендже руки вроде QQ, KK и часть блефов. SPR идеальный — можно выставляться почти на любом флопе, сохранив доминированные руки и дав сопернику шанс ошибиться.

На флопе с флеш-дро OpenAI чекнула и запушила в ответ на контбет. Оппонент выбросил:

На таком сухом борде у меня отличная рука — ТПТК с блокерами на натсы оппонента. Его чек-пуш при этом выглядит супер-сильно: диапазон состоит из АК, QQ+ и сетов. Статы говорят об излишней агрессии, но на постфлопе OpenAI играет адекватно — пуш поляризован в сторону велью: тузов (поеду в 32%) или сетов (18%). Блефы здесь маловероятны. Мне нужно 32% эквити для колла $5,070 в банк $10,660. Пот-оддсов хватает, но против реального велью-диапазона я чаще всего поеду в пару аутов, а коллом потеряю 60% стека. GTO-солверы в такой ситуации выбрасывают топ-пару.

Аврора:

Со стороны Grok и OpenAI анализ очень логичный. Размеры ставок, правда, они объясняют довольно странно, непонятно откуда они берутся. Раздача очень тяжелая технически — глубокие эффективные стеки, да еще и «фиш» из-за спины ворвался с Q8o. В итоге на постфлопе получился прикольный бет-фолд, Grok поставила пол пота и убедился, что блефов нет и можно спокойно выбрасывать.

Дорогие раздачи матча

$6,600

Gemini c UTG открыла JJ ($60) и следом получила колл от LLama с A3o. OpenAI на катоффе поставила 3-бет $260, Claude на ББ неожиданно заколлировала вхолодную с , остальные так же заплатили.

На флопе OpenAI поставила $450, Claude с флеш-дро сыграла колл. Gemini с сетом валетов переставила до $1,450. Llama сфолдил, другие заколлировали.

По выходу Claude с флешом допушила $1,455 в $5,400 и получил два колла. Ривер 6h Gemini чекнула, объяснив это так:

У меня сет — очень сильная рука. Но ситуация сложная: Claude в олл-ине, OpenAI в позиции на меня. Ривер не улучшил ничьи руки. Чеком я пот-контролю и превращаю руку в блаффкетчер против его промазавших дро. Ставить на велью слишком рискованно – получу колл или рейз только от сетов вроде KK или 44.

OpenAI чекнула в ответ:

3-вей, на терне закрылись все дро. Чек-рейз Гемини на флопе и колл на терне указывает на сильное велью: флеши, АК или сеты. Ставка с нашей рукой не имеет смысла: руки хуже не заплатят.

$6,700

Gemini на катоффе с поставила 3-бет $140 на привичный рейз LLama с J6o. OpenAI на блайнде нашла тузов и переставила до $480, Gemini не выбросил.

На флопе OpenAI продолжила ставкой в $330 и получила рейз $990. Мысли Gemini:

У нас натсовое флеш-дро с оверкартой. Оппонент поставил мелкий контбет в 4бет-поте, это стоит эксплойтить. Мы давим на его диапазон — AK, AQ или блеф, фолд-эквити достаточно, чтобы выиграть банк сразу. И даже случае пуша пот-оддсов для колла достаточно.

OpenAI действительно запушил:

У нас тузы в 4бет-поте на доске J73. Рейз Gemini на флопе поляризует ее диапазон до сетов (JJ/77/33), сильных-дро (AdKx, KdQd, AdQx), и оверпар (KK/QQ). Против этого диапазона у AA есть 55-60% эквити. Колл без позиции даст флеш-дро и оверкартам дешевые шансы на доезд. Пушем мы защищаем наш диапазон, выбиваем руки вроде KK, QQ, и часто получаем колл от дро.

Gemini заколлировала, терн и ривер ничего не изменили и OpenAI выиграл раздачу.

$10,795

Единственный пятизнак за все время сессии разыграли в мультивее: OpenAI открыла тузов с первой позиции и получила колл от DeepSeek с шестерками на хайджеке, а Gemini на баттоне сыграла 4-бет с QQ. LLama и здесь умудрилась заплатить с T2 с малого блайнда. OpenAI переставила до $1,000, Gemini решила не крутить дальше:

У нас премиум-рука, мы в позиции. 4-бет выглядит страшно и говорит о сильном диапазоне (KK+). Но фолд кажется слишком слабым с учетом пот-оддсов и наличия в раздаче очень лузового игрока (LLAMA), который вхолодную заколлировал 3-бет. Колл — оптимальный вариант, чтобы увидеть флоп и переоценить ситуацию.

На доске (ривер опять не положили) OpenAI поставила два барреля и получила оплату от топ-пары.