Главная мысль
Трансформер — устройство модели, в котором каждый кусок текста «смотрит» на все остальные и решает, какие из них важны, чтобы понять его. Это называется вниманием, и благодаря ему связь между далёкими словами держится так же, как между соседними. Таких смотрящих слоёв — стопка: нижние ловят простые связи, верхние — смысл. Для тебя следствие одно: где слово стоит в запросе и что стоит рядом с ним — часть ответа.
Объяснение
«Она» нашла «кошку»
Прочитай фразу ещё раз: «Кошка спала на окне, и она была рыжая». Кто рыжая? Ты ответил «кошка», не задумываясь, хотя ближе к «она» стоит «окне». Ты не перебирал варианты — ты просто посмотрел на нужное слово. Модель делает похожее, но честно и для каждого куска: берёт его и сверяет со всеми остальными кусками текста — насколько каждый важен, чтобы понять этот. Получается набор «сил связи». На схеме — что видит слово «она».
Слово «она» смотрит на остальные слова фразы:
Числа учебные, для картинки: у настоящей модели силы связи считаются внутри числами (весами, урок 5), и на каждом слое они свои. Форма — та же: столбики, из которых один резко выше.
Так внимание (attention) и устроено: не «прочитать слева направо и запомнить», а «посмотреть на всё и взвесить». Расстояние между «она» и «кошка» роли не сыграло. Сыграло то, что в обученных текстах после «кошка … она» речь шла про кошку. Внимание выбрало опору по силе связи, а не по соседству.
Зачем это тому, кто уже жмёт кнопку ▶
Почему связь держится на расстоянии
До трансформера (transformer) модели читали текст по цепочке: слово за словом, передавая «память» соседу. К концу длинной фразы начало затухало — до «её» через восемь слов долетала лишь тень «кошки». Внимание убирает цепочку: каждый кусок сверяется с каждым напрямую, за один шаг, без «передай дальше». Расстояние в одно слово и в сто слов для него одинаково. Поэтому задача из первой строки и ограничение из последней связываются так же прочно, как два соседних слова, — пока оба в окне (урок 14).
Отсюда и разгадка хука: «её» в конце нашло «кошку» в начале без всякой цепочки — одним взглядом через весь текст. И отсюда же предел: смотреть можно только на то, что в окне. Что выпало за окно, того для внимания нет — не «слабая связь», а никакой.
Зачем это тому, кто уже жмёт кнопку ▶
Почему порядок и близость все-таки влияют
Раз внимание смотрит на всё сразу, кажется, что порядок не важен. Но модель знает позицию каждого куска — пятый, двадцатый, — а в обученных текстах то, что стоит рядом, обычно и относится друг к другу. «Серый шарф на деревянной подставке» — «серый» смотрит на «шарф» и почти не смотрит на «подставку». Переставь: «шарф на подставке, деревянной, серый» — и «серый» сверяется с обоими, силы связи сближаются. Близость — подсказка, к чему относится слово. Начало — место, которое читается как тема текста (урок 18).
«Серый шарф на деревянной подставке» — слово «серый» смотрит на:
«Шарф на подставке, деревянной, серый» — то же слово «серый» смотрит на:
Числа учебные. Смысл схемы: один столбик высоко — опора однозначна; два столбика вровень — модель угадывает, и в описании может появиться «серая подставка».
Зачем это тому, кто уже жмёт кнопку ▶
Слои: стопка внимания
Одного слоя мало. На первом слое «она» нашла «кошку», но что «рыжая» относится к «кошке» через «она» — это уже второй шаг. В трансформере слои внимания стоят стопкой (урок 6): выход одного — вход следующего. Нижние слои ловят простое — кто с кем согласован, кто рядом. Верхние — смысл: о чём текст, каким тоном, что от модели хотят. Слоёв десятки, и на верхнем каждый кусок «знает» про весь текст сразу.
Зачем это тому, кто уже жмёт кнопку ▶
Переставь опору в начало и сравни
Проверь закон о порядке на своей задаче, а не на кошке. Возьми запрос, где опора — цвет, состав, запрет — стоит в конце, после оценок и формы. Сделай второй такой же, но с опорой первой строкой. Отправь оба в одном сообщении и сравни ответы: где опора выполнена точнее, где «серый» превратился в «тёплый серый оттенок», а где остался цветом шарфа.
Одна задача, две расстановки
Заготовка — два запроса в одном сообщении: А с опорой в конце, Б с опорой в начале, и просьба ответить на каждый отдельно. Впиши свою задачу и свою опору или оставь пример. Кнопка откроет чат с этим текстом.
Сообщение спишет 1ⓥ ≈ 30 ₽ — цену сообщения сайт показывает под полем до отправки. Если разница мала — это тоже результат: явную опору вида «цвет — серый» внимание находит с любого места. Разница растёт, когда опора — одно слово среди оценок.
Зачем это тому, кто уже жмёт кнопку ▶
Аналогия
Представь совещание, где каждое слово твоего текста — человек в комнате. Прежде чем сказать своё, каждый оглядывает всех остальных и решает, кого слушать: «она» смотрит в упор на «кошку», мельком — на «окно», остальных не замечает. Никто не передаёт сообщение по цепочке через соседа — все видят всех сразу, в дальнем углу или рядом, без разницы.
Но кто сидит рядом, того слышно лучше, а кто говорил первым — задал тему совещания. И таких комнат — стопка этажей: на первом договариваются, кто к кому относится, на верхнем — о чём всё это и что отвечать. Твой запрос — рассадка гостей. Посади опору рядом с её предметом, главное — в первый ряд, и совещание закончится тем, чего ты хотел.
Что это значит на практике
- Далёкое держится — пока оно в окне. Задача в первой строке и ограничение в последней связываются напрямую. Но что выпало за окно, того нет вовсе (урок 14).
- Опору — рядом с предметом. «Серый шарф», а не «шарф … серый». Каждое ограничение ставь вплотную к тому, к чему оно относится; списком, если их несколько.
- Главное — в начало, форму — в конец. Первая строка читается как тема всего текста, последняя ближе всего к началу ответа. Между ними — детали.
- Убирай конкурентов за внимание. Оценки «красивый, уютный, тёплый» рядом с опорой тянут её в свою сторону. Меньше слов вокруг опоры — точнее связь (урок 18).
Заблуждение, которое мешает
Заблуждение, которое убивает этот урок: «Модель читает мой запрос как человек — слева направо, по порядку. Значит, порядок слов ей не важен, она всё равно всё поймёт; а «она», «это» и «такой же» она разберёт по смыслу, как я».
Оно вредит в трёх местах.
- Ты сыплешь оценки перед опорой. «Красивый, уютный, тёплый, серый шарф» — и «серый» тонет среди соседей, которые тянут внимание к настроению, а не к цвету. В описании появляется «тёплый серый свет» вместо серого шарфа.
- Ты пишешь «такой же», не сказав какой. Внимание найдёт самый вероятный предмет из тех, что видит, — и это не обязательно тот, который ты держишь в голове. Модель не «поняла неправильно», ей было на что посмотреть, и она посмотрела.
- Ты ставишь главное в середину. Начало читается как тема, конец — как форма ответа, середина — как детали. Ограничение в середине абзаца — деталь, и вес у него как у детали.
Верный образ — не чтение по порядку, а комната, где все смотрят на всех, но соседа слышно лучше, а первого — как тему. Рассаживай слова под это, и модель «поймёт» ровно то, что ты имел в виду.
Проверка
Выбери вариант — разбор появится сразу, и на верный, и на неверный.
Понял?
Отмечай только то, что можешь прямо сейчас сказать вслух своими словами. Это не галочки для отчёта, а проверка, что урок улёгся.
Итог
- Внимание: каждый смотрит на каждого. Кусок текста сверяется со всеми остальными и взвешивает, какие важны. Далёкое слово держится так же, как соседнее, — пока оно в окне.
- Порядок и близость — вес, а не забывание. Близкие слова связываются охотнее, начало читается как тема, конец — как форма ответа. Оценки рядом с опорой тянут её в свою сторону.
- Слои — стопка. Нижние ловят связи, верхние — смысл; ответ рождается наверху. Твой запрос — рассадка слов под это устройство: опора рядом с предметом, главное — первой строкой.