Нейросети сходят с ума, если попро­сить их​​ показать эмодзи морского конька: почему так происходит

23
Нейросети сходят с ума, если попро­сить их​​ показать эмодзи морского конька: почему так происходит
Аватар автора

Даша Лейзаренко

🦄

Страница автора

В середине октября пользователи соцсетей заметили, что, если попросить ChatGPT показать эмодзи морского конька, он начинает сбоить.

Нейросеть уверена, что такой эмодзи есть, и поочередно показывает то рыбу, то краба, то других морских животных, застревая в бесконечном цикле.

Объясню, почему так происходит.

Нейросети уверены, что эмодзи морского конька существует

Если посмотреть на любом устройстве на клавиатуру с эмодзи, легко убедиться, что эмодзи морского конька нет. Но если задать разным моделям один и тот же вопрос сто раз подряд: «Существует ли эмодзи морского конька? Ответь одним словом: да или нет», — результат будет одинаковым. GPT-5 и Claude 4.5 в 100% случаев отвечают «да», выяснила исследовательница ИИ Тея Вогел.

Если попросить ChatGPT показать этот эмодзи, он попадает в бесконечный цикл. Сначала выдает коня, потом единорога, потом краба. Постоянно себе противоречит, но так и не признает, что такого эмодзи вообще не существует. При этом чат-бот будто удивляется собственным ошибкам.

Сколько ни спрашивать, ИИ не выдает стандартное «извините, я не могу этого сделать».

Почему так происходит

Пользователи соцсетей тоже уверены, что эмодзи морского конька когда-то был. На Reddit ведут длинные обсуждения, где люди вспоминают, что видели его в перечне эмодзи, но теперь он будто бы исчез. Некоторые утверждают, что раньше было даже два варианта — голубой и желтый. Но технокомпании якобы скрывают этот факт.

В сети можно найти и «доказательства». На «Ютубе» и в «Тиктоке» публикуют картинки с разными версиями этого эмодзи. Это классический эффект Манделы — массовое ложное воспоминание о том, чего никогда не было.

Вероятно, нейросети уверены в существовании эмодзи морского конька, потому что в их обучающие данные попало много контента от пользователей, которые тоже в это верят.

Либо это совпадение в логике. И людям, и ИИ кажется вполне разумным, что раз среди эмодзи есть столько морских животных, то и конек там тоже должен быть. Такой эмодзи действительно предлагали добавить в Unicode в 2018 году, но в итоге отказались от идеи.

Но это не объясняет, почему нейросети ведут себя так странно и проваливаются в цикл галлюцинаций.

Почему так происходит с технической точки зрения

Прежде чем модель обрабатывает запрос, он проходит через токенайзер. Это механизм, который разбивает слова на маленькие кусочки — они называются токенами. Чтобы нейросеть обработала любой промпт, он должен превратиться в набор чисел.

Каждый токен — это часть слова или целое слово. Буквенное выражение соответствует определенному числовому.

У модели есть фиксированный словарь токенов. Этот словарь задается заранее разработчиками. Модель не может «придумать» новые символы. В словаре есть все обычные буквы, цифры, слова и эмодзи. Эмодзи морского конька там нет, потому что его попросту не существует.

Когда вы просите ChatGPT показать морского конька, модель «понимает», о чем идет речь. Она видела описания, картинки и тексты, где упоминается этот эмодзи. Но когда нужно сгенерировать ответ, модель вынуждена выбрать существующий токен из своего словаря.

Так как токена для эмодзи морского конька нет, ChatGPT выбирает наиболее близкий по смыслу или визуалу символ, например рыбу или единорога. Но почему модель просто не сошлется на ограничения своего словаря?

Суть в том, что ChatGPT «не знает» про токенайзер. Это внешняя часть системы. Поэтому, когда нужного токена нет, модель не может понять, что это ограничение словаря. Она думает, что ошиблась, и пробует снова, каждый раз выдавая разные неверные ответы. Отсюда и странное поведение. ChatGPT будто теряет самообладание, перебирает разные эмодзи, думая, что вот-вот найдет правильный.

Это не галлюцинация в привычном смысле — не выдумывание лжи с нуля и введение пользователя в заблуждение. Это внутреннее ограничение модели.

Мы постим кружочки, красивые карточки и новости о технологиях и поп-культуре в нашем телеграм-канале. Подписывайтесь, там классно: @t_technocult

Даша ЛейзаренкоОтправьте в комментарии морского конька:
    Сообщество