Вернулся из Армении, где хотел просто прочитать лекцию в ЕГУ (Ереванский госунивер), а вместо этого оказался в свадебном горном кутеже.
В целом же июнь прошёл под знамёнами чемпионата мира по футболу, для которого очень много делается по рабочим делам. И вот буквально вчера я получил известия от публициста Константина Степанова, который устроил турнир между ИИ моделями по прогнозированию ЧМ. А до этого у нас с ним был большой такой разговор про ИИ.
Хочу привести его здесь полностью, потому что это исследование показалось мне максимально любопытным. И с точки зрения обнаружившихся чемпионов, и с позиции успешности человека в этом состязании.
ЧЕМПИОНАТ МИРА И БОЛЬШИЕ ЯЗЫКОВЫЕ МОДЕЛИ
На чемпионате мира по футболу закончился групповой этап и можно подвести промежуточные итоги турнира прогнозов между популярными моделями ИИ.
За угаданный точный счет в матче каждая модель получила +3 очка, за угаданную разницу (включая ничьи) +2 очка, просто за угаданный результат +1 очко.
Бонусные очки за выход команд в плей-офф: 1 и 2 угаданное место команды в группе +1 очко, выход в плей-офф с любого места в группе +0.5
Текущие результаты:
Claude Fable 5: 80 очков + 21.5 бонусов
Grok: 78 очков + 22 бонуса
Qwen: 74 очка + 21.5 бонусов
Claude Sonnet 4.6: 72 очка + 21.5 бонусов
Alisa: 72 очка + 21 бонус
Chat GPT: 60 очков + 19.5 бонусов
DeepSeek: 58 очков + 21 бонус
Claude Opus 4.8: 53 очка + 19 бонусов
Человек (то есть я): 45 очков + 17 бонусов
Что хочется отметить::
1. Специалиста со стажем (типа меня) разнесли без вариантов. Но я в азартные игры и не играю.
2. Пресловутый Claude Fable 5, которого выкатили на пару дней в открытый доступ, а потом закатили обратно и сделали только с доступом через американские Госуслуги, оказался молодцом.
3. Внезапно неплохо выступила Алиса. Уважение.
4. Предпоследнее место Opus 4.8. Предположу, что вызвано тем, что он сразу меня предупредил, что будет играть защиту Каро-Канн (зачеркнуто) будет считать вероятности исхода матчей по методу Монте-Карло, в отличие от своих братьев по разуму, которые, похоже, просто анализировали информацию о прогнозах, имевшуюся в открытом доступе или считали вероятность исхода того или иного матча по текущему рейтингу ФИФА.
С учетом реально сложившейся сетки турнира попросил все те же модели (за вычетом выбывшей по состоянию здоровья Fable) пересчитать итоговые результаты чемпионата.
Без существенных изменений по сравнению с прогнозом, который был дан в начале июня.
6 из 7 моделей выбирают полуфинал Бразилия - Аргентина (в одном из вариантов Англия - Аргентина). Также 6 из 7 выбирают во второй паре полуфиналистов Францию и Испанию (в одном из вариантов Германия - Испания).
Варианты победителей чемпионата:
Бразилия - 3 (Qwen, Grok, ChatGPT)
Испания - 2 (Claude 4.8, Алиса)
Аргентина - 1 (Claude 4.6)
Германия - 1 (DeepSeek)
тг | бусти | max | дзен | vk | я музыка