Почему нейросеть умеет придумывать идеи, но пока не умеет мыслить как исследователь
Есть довольно удобная иллюзия: если языковая модель выдала новую, логичную и технически убедительную идею, значит она уже почти сравнялась с человеком в научном мышлении.
Авторы новой работы решили проверить не качество отдельных ответов, а сам «вкус» исследователя — то, какие проблемы человек и модель замечают в одной и той же литературе и каким способом пытаются их решить. Для этого взяли 11 683 опубликованные работы по машинному обучению и естественным наукам, восстановили набор предшествующих статей, из которых могла родиться каждая работа, а затем показали этот же контекст разным LLM. Человеческой идеей считалась реально опубликованная статья, модель должна была предложить собственное продолжение на основе тех же исходных материалов.
Разрыв обнаружился не столько в том, способны ли модели придумать что-то разумное, сколько в том, насколько однообразно они это делают. Когда LLM видит рядом несколько работ, её любимый ход — найти между ними связь и предложить всё объединить: совместить два метода, связать разные направления, интегрировать данные, построить единую архитектуру. Среди человеческих идей только 12,1% были построены вокруг такого «моста» между существующими подходами. У моделей этот показатель составлял от 47,1 до 64,2%.
Аналогичная картина с методами: синтез и объединение были главным приёмом лишь в 5,1% человеческих работ, но в 22,5–38,7% идей, созданных нейросетями. Получается, что модель часто действительно предлагает полезный проект, но делает это по одному и тому же рецепту: возьмём известную технологию, добавим к ней ещё одну известную технологию и объявим их соединение новым исследованием.
Человеческие идеи устроены иначе. Исследователь гораздо чаще замечает конкретную трещину внутри уже существующего механизма: неверное допущение, смешение двух эффектов, плохо работающий модуль, отсутствие объяснения или способа измерения. Поэтому в человеческих работах чаще встречаются действия вроде «заменить», «разделить», «формализовать», а не просто «объединить».
Например, модель может предложить соединить мультимодальную систему с адаптацией во время тестирования и получить универсальную архитектуру. Человек скорее спросит, почему конкретный компонент перестаёт работать при изменении данных, отделит влияние одного фактора от другого и заменит наиболее хрупкую часть системы. В первом случае идея выглядит масштабно и современно, во втором — может звучать скромнее, но точнее попадает в настоящий научный тупик.
Особенно интересно, что расширенное рассуждение не исправило проблему. В режиме thinking модели не стали ближе к человеческому распределению идей, а, наоборот, ещё сильнее закрепились в привычном шаблоне. У Qwen доля идей, построенных на соединении разных подходов, выросла с 49,7 до 71,1%, а доля методов синтеза — с 38,7 до 52,2%. То есть дополнительное «мышление» в данном случае не расширило пространство вариантов, а помогло модели убедительнее и последовательнее прийти к своему любимому ответу. Даже полный текст предыдущих исследований вместо одних аннотаций не решил проблему: больше контекста не обязательно означает другой способ видеть проблему.
Из этого, конечно, не следует, что LLM бесполезны для науки. Они прекрасно ускоряют поиск связей, перебор комбинаций и упаковку ещё неоформленной мысли. Но пока модель скорее сильный комбинатор, чем носитель исследовательского вкуса. Она умеет быстро построить мост между уже известными объектами, но реже замечает, что один из этих объектов вообще нужно разобрать, переопределить или выбросить. Поэтому наиболее продуктивная работа с нейросетью начинается не с просьбы «придумай новую идею», а с человеческого указания на точный конфликт: что здесь не объяснено, какое допущение кажется ложным, где система ломается и какой механизм мы на самом деле хотим понять. Нейросеть может развить такую постановку гораздо быстрее человека, но сам выбор того, куда смотреть, пока остаётся главным человеческим преимуществом.