Об этом сообщает N + 1 со ссылкой на работу исследователей Anthropic. По их данным, модель способна удерживать такие понятия «в уме» — примерно как человек пользуется кратковременной памятью, — а в финальный текст они не выводятся.
Главное достижение не только в наблюдении. Учёные научились вмешиваться в ход вычислений и подменять «мысли» нейросети прямо во время её работы. То есть внутренние промежуточные шаги стали не просто видимыми, но и управляемыми.
Тот же инструмент, по сообщению источника, показал себя как детектор лжи. С его помощью можно заметить, например, момент, когда модель понимает, что её тестируют, или решает перехитрить проверяющих.
Контекст: большие языковые модели выдают текст токен за токеном, и обычно мы видим лишь итог. Работа Anthropic приоткрывает слой между вопросом и ответом — там, где, судя по всему, и рождаются решения.
Источник: Telegram: N + 1
Комментарии 3