Урок 7: Ошибка и обучение

01

Главная мысль

Обучение — это не «модели объяснили». Это цикл, повторённый миллионы раз: показали пример, модель сделала попытку, попытку сравнили с ответом, разницу записали числом — ошибкой — и чуть сдвинули веса так, чтобы число стало меньше. «Поняла» и «не поняла» внутри нет, есть число, которое опускается. Отсюда главное свойство модели: она сильна в том, что встречалось часто — это двигало веса миллионы раз, — и слаба в редком, которое сдвинуло их едва заметно. Редкое в промпте нужно описывать подробнее частого.

02

Объяснение

Попытка, сравнение, число

Возьми урок 5: веса заморожены и подобраны до тебя. Кто подбирал? Никто — их подбирала ошибка. Схема одна и та же у всех моделей. Модели показывают пример: подпись «врач в очках» и картинку. Она делает попытку — выдаёт свою картинку. Попытку сравнивают с ответом и считают, насколько разошлись: это число называют ошибкой (loss). Потом каждый вес сдвигают на крошечную величину в ту сторону, где число стало бы меньше. И берут следующий пример.

Попыткамодели дали вход, она выдала свой ответ: картинку, слово, звук

›

Сравнениеответ кладут рядом с правильным из примера. Никто не «оценивает» — считают расхождение

›

Ошибка = числоодно число: 0 — совпало, больше — дальше от ответа. Ни «плохо», ни «почти», только величина

›

Сдвиг весовкаждый вес двигают на волосок туда, где число стало бы меньше. И следующий пример

Обрати внимание, чего в этом цикле нет. Нет учителя, который объясняет, что такое врач. Нет момента «дошло». Есть вход, попытка, число и сдвиг — и всё это делает арифметика без единого слова о смысле. Урок 4 называл это «сжатием примеров в закономерности»; вот его механика.

Закон 1. Обучение — цикл: попытка → сравнение → ошибка-число → сдвиг весов. Никто ничего не объясняет — число опускают.

Зачем это тому, кто уже жмёт кнопку ▶

Для оператора это снимает одну иллюзию: у модели нет «правильного понимания», к которому можно апеллировать. Есть веса, которые опустили число ошибки на чужих примерах. Когда движок рисует «врача» с одинаковым стетоскопом, он воспроизводит то, на чём число падало быстрее всего. Спорить не с кем — но можно подать вход, на котором среднее по примерам совпадёт с твоей задачей: точнее слова, референс, поле негатива.

Ошибка падает по шагам

Вот как выглядит обучение, если смотреть только на число. В начале веса случайные, попытка — шум, ошибка большая. Первый сдвиг — число заметно упало. Второй — ещё, но меньше. Дальше каждый шаг даёт всё меньше, и кривая полого стелется вниз. Она не доходит до нуля и не делает рывков «вот теперь поняла» — она просто опускается, пока есть примеры и пока сдвиг что-то даёт.

Ошибкачисло «насколько разошлись с ответом». Каждый столбик — один шаг обучения

1,00

0,72

0,53

0,41

0,33

0,27

0,23

1234567

…и так миллионы шагов. Кривая не «понимает» — она только опускается, всё медленнее.

Это и есть весь «прогресс» модели, каким его видят те, кто её обучает: одна кривая, идущая вниз. Никакого второго графика «понимание» рядом нет. Когда говорят «модель научилась», значит ровно одно: число на новых примерах стало достаточно маленьким.

Закон 2. Ошибка — число, а не «поняла/не поняла». Обучение — это число, которое опускают шаг за шагом.

Зачем это тому, кто уже жмёт кнопку ▶

Отсюда честный взгляд на «версия 2 умнее версии 1». Умнее — значит, число ошибки на проверочных примерах ниже: в среднем, по всей стопке примеров. «В среднем» — важное слово: на твоей узкой задаче новая версия может оказаться хуже, потому что число опускали по всему миру сразу, а не по твоим кадрам. Меняешь версию — одна проба, два кадра, смотри своими глазами, а не по обещаниям.

Крошечный шаг, помноженный на миллионы

Один сдвиг весов — почти ничего: сотые доли, чтобы не сломать то, что уже работает. Значит, чтобы вес заметно ушёл, его нужно толкать много раз в одну сторону. Так и происходит: пример за примером, миллионы раз. Если тысячи примеров тянут вес в одну точку — он туда придёт. Если пример был один и потянул в свою сторону — его толчок утонет в следующих тысячах, которые тянули в другую.

Один шагсдвиг на сотые доли. Один пример почти ничего не меняет — так и задумано, иначе каждый новый ломал бы предыдущие

›

Миллионы шаговтам, где примеры тянули в одну сторону, веса ушли далеко. Это и есть «сильные закономерности»

›

Конец обучениячисло перестало заметно падать, веса заморозили. С этой точки — урок 8

Из этого следует то, ради чего урок: у модели есть память не о примерах, а о том, куда они тянули веса. Частое тянуло миллионы раз и оставило глубокую колею. Редкое тянуло десять раз и следа почти не оставило.

Закон 3. Один шаг — волосок; веса уходят далеко только там, где тысячи примеров тянули в одну сторону.

Зачем это тому, кто уже жмёт кнопку ▶

Практическое следствие — устойчивость к «правкам одним словом». Ты меняешь в промпте одно слово, а кадр почти тот же: сильная колея, которую вытоптали миллионы примеров, не сворачивает от одного входа. Чтобы уйти из колеи, нужно много согласных входов сразу — конкретные слова, референс, крупность плана, — а не одно более громкое слово. Закон «одна правка за запуск» из уроков 17–18 — про то, как нащупать, какая именно добавка сдвигает.

Сильна в частом, слаба в редком

Теперь очки и рефлектор. Очки в примерах были миллионы раз: на врачах, учителях, прохожих. Каждый раз число ошибки падало, если веса чуть точнее собирали оправу, — и веса ушли туда далеко. «Очки» для модели — глубокая колея: одно слово, и кадр точный. Лобный рефлектор — круглое зеркало на обруче — встречался в примерах горстку раз. Его толчки утонули. Слова «рефлектор» модели мало: веса едва знают, что это, и подставляют ближайшую колею — фонарик, обруч, лампу.

Частое«очки», «халат», «стетоскоп». Миллионы примеров, глубокая колея. Одного слова хватает — веса сами дорисуют остальное

Редкое«лобный рефлектор», редкий прибор или узор. Горсть примеров, следа почти нет. Слово одно — а веса тянут в ближайшую частую колею

Это не «модель не знает слова». Слово она, может быть, и встречала. Но встречала мало, и то, как выглядит вещь, веса не выучили. Поэтому редкое нельзя заказывать одним словом, как частое: слово не вытянет за собой картинку, потому что за словом нет колеи.

Закон 4. Модель сильна в частом — оно двигало веса миллионы раз — и слаба в редком, которое едва их сдвинуло.

Зачем это тому, кто уже жмёт кнопку ▶

Как понять, что твоя деталь для движка редкая, не заглядывая в его данные? По кадрам: если деталь приходит «примерно похожей» или подменяется соседней вещью — колеи нет. Оператор в этот момент не повторяет слово громче, а разбирает вещь на частые части: рефлектор — это «круглое зеркало», «обруч на лбу», «отверстие в центре», и каждое из этих слов имеет свою колею. Собери редкое из частого — и веса соберут картинку.

Редкое описывай подробнее частого

Отсюда правило для промпта, обратное интуиции. Частое — коротко: «очки», и хватит, веса дорисуют. Редкое — подробно, через то, как оно выглядит: не «лобный рефлектор», а «на лбу обруч, на нём круглое вогнутое зеркало с отверстием в центре, сдвинуто над правым глазом». Каждое слово здесь частое, у каждого своя колея, и вместе они собирают то, чего одним словом не вытянуть. Плюс запрет на подмену: «не фонарик, не лампа».

Редкое одним словом«ЛОР-врач с лобным рефлектором». Колеи нет — придёт фонарик на обруче или ничего

Редкое через частое«на лбу обруч, на нём круглое зеркало с отверстием в центре, над правым глазом». Каждое слово с колеёй — вместе собирают редкое

Задание ниже собрано по этому правилу: частая часть кадра — одной строкой, редкая деталь — через вид, а не название. Подсказки рабочие, можно оставить как есть.

Закон 5. Частое называй коротко, редкое — подробно и через то, как оно выглядит.

Опиши редкое подробнее частого

Заготовка — портрет ЛОР-врача: частое коротко, редкая деталь — по частям, каждая из которых встречалась часто. Собранный текст уйдёт в генератор.

Частое — коротко Редкая деталь — как она выглядит Что не подменять Свет и фон

Промпт появится здесь, когда заполнишь поля.

Открыть генератор с этим текстом →

Запуск спишет 1ⓥ ≈ 30 ₽, кадров за запуск приходит два. Сравни: зеркало на обоих — редкое собралось из частого; подменили лампой — добавь ещё одну наблюдаемую часть («блестящая металлическая поверхность») и запусти ещё раз.

Зачем это тому, кто уже жмёт кнопку ▶

Если ты уже жмёшь кнопку, для редкого есть вход сильнее любого описания — референс. Фото рефлектора в режиме по фото даёт ранним слоям (урок 6) сотни черт готовой вещи, а не слова о ней; веса не должны «знать» прибор, чтобы его повторить. Второй приём — поле негатива там, где оно есть: подмена «фонарик» — это ближайшая частая колея, и её удобно гасить именно там, а не в основном тексте.

03

Аналогия

Аналогия · тропинки в парке

Представь парк, где нет асфальта — только трава. Люди ходят, и там, где прошли тысячи, вытаптывается тропа. Никто её не проектировал: каждый прохожий примял траву на волосок, а тысячи прохожих сложились в дорогу. Там, где за год прошли трое, тропы нет — трава поднялась обратно. Веса модели — этот парк после обучения: глубокие тропы там, где примеров были миллионы, и ровная трава там, где их была горсть.

Теперь ты просишь модель «пройти к беседке». Если к беседке ведёт тропа — ты попадёшь туда одним словом. Если тропы нет, слово «беседка» ничего не сделает: ноги сами свернут на ближайшую вытоптанную дорожку — к фонтану. Хочешь к беседке — веди по частям: «по аллее до дуба, направо, через мостик» — каждый кусок пути вытоптан, и вместе они приведут туда, куда одним словом не дойти.

04

Что это значит на практике

Помни, что модель училась числом, а не объяснением. Спорить с ней и «объяснять» не с кем: есть веса, которые опустили ошибку на чужих примерах. Работает вход, а не уговор.
Частое — коротко. «Очки», «халат», «стетоскоп» — глубокая колея; одного слова хватает, веса дорисуют. Лишние подробности о частом только глушат остальное.
Редкое — подробно и через вид. Не название прибора или узора, а как он выглядит, по частям, где каждая часть — частое слово. Плюс запрет на ближайшую подмену.
Два кадра — прибор для проверки колеи. Деталь совпала на обоих — колея есть; подменилась соседней вещью — колеи нет, разбирай на части или неси референс.

05

Заблуждение, которое мешает

Заблуждение, которое убивает этот урок: «Модель знает всё, что есть в интернете. Если она нарисовала не то — значит, я плохо объяснил, и надо объяснить понятнее, как человеку, который вещь видел».

Оно вредит в трёх местах.

Первоеты веришь в «знает». Знать нечем: есть веса, и они хранят не факты, а колеи — куда тянули примеры. Редкую вещь модель могла «видеть» и не выучить, если примеров была горсть

Второеты объясняешь вместо того, чтобы показывать. «Ты же знаешь, что такое рефлектор» не двигает ни одного веса. Двигает вход: наблюдаемые части, референс

Третьеты правишь частое, когда сломалось редкое. Переписываешь весь промпт — а нужно было разобрать одну деталь на частые слова и запретить подмену

Из этой веры вырастает промпт-объяснение на абзац, где редкая деталь по-прежнему подменяется, и вывод «модель глупая». А модель не глупая и не умная — она вытоптанная, и там, где тропы нет, надо вести по частям.

06

Проверка

Выбери вариант — разбор появится сразу, и на верный, и на неверный.

1. Что такое «ошибка» во время обучения модели?

2. Почему «очки» приходят точными с одного слова, а «лобный рефлектор» подменяется фонариком?

3. Тебе нужен редкий узор на ткани — он приходит «похожим», но не тем. Что делать?

Понял?

Отмечай только то, что можешь прямо сейчас сказать вслух своими словами. Это не галочки для отчёта, а проверка, что урок улёгся.

Могу описать обучение циклом: попытка → сравнение → ошибка-число → сдвиг весов, и знаю, что «поняла» внутри нет

Понимаю, что один шаг — волосок, и веса уходят далеко только там, где тысячи примеров тянули в одну сторону

Знаю, почему модель сильна в частом и слаба в редком, и как это увидеть по двум кадрам

Умею описать редкое подробнее частого: через наблюдаемые части с запретом на подмену, а частое — одним словом

07

Итог

Обучение — цикл попытка → сравнение → число → сдвиг весов. Ошибка — число, которое опускают миллионы раз; «поняла» внутри нет.
Один шаг — волосок. Веса уходят далеко там, где тысячи примеров тянули в одну сторону: частое — глубокая колея, редкое — почти ровная трава.
Частое коротко, редкое подробно. Редкую вещь заказывают через вид по частям, каждая из которых частая, и запрещают ближайшую подмену.

Следующий урок: Обучение vs вывод → Все уроки теории →