Токен

Модель видит куски, а не слова

Попроси чат посчитать буквы в слове или написать его задом наперёд — и он ошибётся заметно чаще, чем школьник. Странно для системы, которая пишет связные тексты. Разгадка проста: букв модель не видела никогда. Перед входом текст проходит через резак — токенизатор, — и дальше идут не слова и не буквы, а куски. «Кошка» — один кусок. «Сгенерируй» — два. Внутри куска букв для модели нет: кусок — это одно число из словаря.

Отсюда и странные промахи. Слово, разрезанное на два-три куска, для модели — два-три номера подряд, а не цепочка букв; посчитать буквы внутри — всё равно что посчитать буквы в номере телефона по его звучанию. Зато куски как целое модель знает прекрасно: за номером «фото» в примерах стояли миллионы продолжений. Всё, что модель умеет, она умеет на уровне кусков — не выше и не ниже.

Длинное и редкое режется на части

Словарь резака составлялся по частоте: что в примерах встречалось часто, получило свой кусок целиком. «Дом», «фото», «свет» — по одному. «Сгенерируй» — реже, и его собирают из двух. Фамилия, название бренда, редкий термин — из пяти-шести, иногда по буквам. Русский текст, как правило, режется на заметно большее число кусков, чем английский той же длины: примеров на английском было больше, и словарь резака под него плотнее.

Значит, длина промпта в кусках — не то же, что в словах. Три коротких частых слова могут стоить меньше одного длинного редкого. И это не только про деньги: для модели редкое слово, рассыпанное на шесть номеров, — слабый вход. За каждым из шести кусков в примерах стояло что угодно, и собрать из них смысл целого слова модель может только если видела это сочетание достаточно раз.

Ты видел: каждая запятая — свой кусок, «пожалуйста» и «если это возможно» — ещё несколько, и всё это без единой опоры. Счётчик в виджете учебный — у каждого движка свой словарь и свои границы, — но закон общий, и на настоящем резаке он только жёстче.

Знаки и эмодзи не бесплатны

Возьми фразу из виджета целиком: «Пожалуйста, сгенерируй мне, если это возможно, фотографию симпатичной рыжей кошки, которая сидит на подоконнике и смотрит в окно ☀️». Опоры здесь: рыжая кошка, подоконник, смотрит в окно. Всё остальное — четыре запятые, «пожалуйста», «мне», «если это возможно», «симпатичной», солнышко — куски, за которые ты платишь и которые модель обязана прочитать. Сигнала в них нет.

• Знаки препинания — каждая запятая, кавычка, скобка, тире — отдельный кусок. Двоеточие и точка, которые делят промпт на части, — полезны; «ёлочки» вокруг каждого слова — нет.
• Эмодзи — один значок стоит как слово, а часто и больше: сложные эмодзи собираются из нескольких кусков. Опоры не несут никогда.
• Вежливость и обороты — «пожалуйста», «если можно», «мне нужно, чтобы» — три-пять кусков на пустом месте. Модель не обидится на глагол без «пожалуйста».
• Усилители — «очень», «максимально», «супер-», восклицательные знаки — куски без веса: сумму (урок 5) они не двигают.
• Оформление — звёздочки, решётки, ряды «=====» и прочая разметка — режется на куски и читается как текст.

Это не призыв писать телеграфом без знаков. Знак, который делит текст на смысловые части — двоеточие после «Стиль:», точка между «кто» и «где», — работает как опора: он говорит модели, где кончился один вход и начался другой. Убирать надо не структуру, а украшения — то, что ты добавил для себя или по привычке к живому собеседнику.

Краткость — это внимание, а не только деньги

Отправь один и тот же запрос дважды: сначала как список из пяти опор, потом те же пять опор внутри вежливого абзаца на восемь строк. Второй ответ почти всегда хуже: одна из опор «потерялась». Модель её прочла — но внимание на каждом шаге делится между всеми кусками, что лежат перед ней. Пять опор среди двадцати кусков — заметны. Те же пять среди восьмидесяти — тонут.

Поэтому «краткость» в работе с моделью — не аскеза и не экономия на копейках. Это концентрация сигнала: та же мысль в меньшем числе кусков — каждый кусок громче. Плюс окно, в которое помещается разговор, ограничено (урок 14), и куски без сигнала занимают его наравне с опорами. Вежливая простыня не просто дороже — она вытесняет из окна то, что было важно.

Жесткая граница: 800 знаков

На сайте есть движок, который не даст тебе ошибиться в эту сторону: Qwen3 Pro принимает промпт не длиннее 800 символов — граница жёсткая, так устроена сама модель, и подсказка на странице генератора об этом честно говорит. У остальных движков раздела лимиты в разы больше. Восемьсот знаков — это примерно сто слов. Кажется, мало. На деле в сто слов помещаются все опоры любого кадра — не помещаются только украшения.

Граница — не наказание, а фильтр. Если задача не укладывается в 800 знаков, в ней есть то, что модели не нужно. Порядок резки такой же, как в уроке 5: опоры — замок лица, свет, план — не трогаем; сначала уходят украшения, потом мелочи из конца. Запреты выносим в отдельное поле, где оно есть. Задание ниже — уложить портрет в 800 знаков, не потеряв ни одной опоры; счётчик покажет, сколько осталось.