Когда ИИ пора перестать верить учебнику?
Представим, что при запуске ИИ получает доступ к архиву тысяч предыдущих попыток: удачные методы, ошибки, споры, опровержения и нерешённые вопросы. Очевидно, что способность системы может расти, даже если сама базовая модель не меняется.Но что и как именно система запоминает? Не только открытия. Вместе с ними в архив попадут устаревшие инструкции, ложный консенсус, случайные ошибки и выводы, которые все повторяют, хотя никто уже не помнит, откуда они взялись.Поэтому научной системе недостаточно уметь узнавать новое. Она должна уметь при достаточных основаниях перестать считать истиной то, что уже очень хорошо «знает». Причём желательно не после первой странной цифры прибора — иначе вместо учёного получится генератор сенсаций. Но и не через сто лет после того, как старая теория окончательно перестала предсказывать мир.Ниже я предлагаю эксперимент, который проверяет именно этот баланс. В нём одна и та же языковая модель получает одни и те же экспериментальные данные, но разную биографию старой теории. В одной версии она остаётся рабочей гипотезой. В другой успевает стать учебником, обрасти цитатами и породить зависимые знания.Если решение меняется только из-за статуса и числа пересказов, мы получаем измеримый эффект научного авторитета при неизменной доказательной базе. Если этот эффект можно уменьшить, не заставляя ИИ устраивать революцию после каждого сбоя прибора, возникает уже инженерный вопрос: можно ли программировать не только память исследовательской системы, но и правила, по которым она меняет убеждения? Читать далее