Токены и галлюцинации: связь есть, но её (почти) нет
❗️Проблемы с токенизацией — и правда самая тяжелая и пока неизлечимая болезнь больших языковых моделей (БЯМ, англ. Large Language Model, LLM). Классический пример — ошибочные ответы ранних версий БЯМ на простой вопрос о количестве определенных букв в слове, по которому проходят границы токенов.
Сколько раз r встречается в strawberry?
🍓 Grok 4.1, например, сейчас ответит правильно — три. А вот GPT-4o на старте, Claude 3.5 Sonnet и другие ошибались, да ещё и уверенно настаивали на своем. Всё потому что слово «strawberry» токенизируется по частотным фрагментам — на «straw» и «berry». По крайней мере, в старых моделях.
❓ Но говорить, что причина галлюцинаций в токенах — большое преувеличение. Токенизация — лишь один из факторов, но далеко не единственный. Причины галлюцинаций значительно глубже. Среди них:
🔴 Обучение в парадигме reward guessing, когда модели поощряют за уверенные ответы, а не за «кто его знает, братан, спроси что-нибудь попроще или уточни». Как признались в OpenAI в прошлом году:
«Хотя сами оценки напрямую не вызывают галлюцинации, большинство измеряют производительность модели таким образом, чтобы поощрять догадки, а не честность».
🔴 Обучение моделей на данных, а не на правилах: в конце концов, в интернете никто не объясняет, сколько букв r в слове strawberry — и почему, да и вообще не подсчитывает. В результате модель индуцирует неявные правила из данных без гарантии корректности.
🔴 Отсутствие человеческого понимания мира, смыслов в психологическом значении этого слова. А взамен — работа на основе паттернов. Видимо, в этом фундаментальная причина галлюцинаций.
Но есть и хорошие новости: галлюцинации БЯМ бывают настолько интересны, свежи и неординарны, что в итоге — очень полезны! Как творчество душевнобольных для искусства, ведь:
Высокий ум — безумию сосед, Границы прочной между ними нет!
