Слой и глубина

Нейроны стоят рядами

В уроке 5 один нейрон провёл одну черту: «оба входа высокие — сработал». Одной чертой лицо от не-лица не отделить. Но нейронов можно поставить сотню, и все будут смотреть на одни и те же входы: один ловит «тёмное слева, светлое справа», другой — «светлая полоса сверху», третий — «пятно круглое». Такой ряд нейронов с общими входами — слой (layer). Он ничего не решает целиком; он выдаёт сотню чисел — сотню ответов «есть ли моя черта».

Здесь главное слово — «следующий». Второй слой не видит твоих пикселей и твоего текста. Ему на вход приходят только числа первого слоя: «черта такая — есть, такая — нет». Третий видит только выходы второго. Каждый слой знает о мире ровно столько, сколько ему передал предыдущий, — и ни на йоту больше.

Стопка: от простого к сложному

Посмотри, что ловит каждый этаж стопки. Первому слою достаются пиксели, и он находит в них самое простое: границу светлого и тёмного, наклон линии, пятно. Второй получает эти границы и складывает из них уголки, дуги, полосы. Дальше — овал, глаз, бровь. Ещё дальше — лицо целиком, поза, халат. У текстовой модели лестница та же, только ступени другие: буквы и слоги → слова → связки слов → смысл всей фразы. Никто не назначал этажам роли: так они распределились сами, потому что сложное невозможно собрать раньше простого.

Заметь: чем выше по стопке, тем «крупнее» и осмысленнее то, что ловит слой, — и тем из большего числа простых кусочков это собрано. «Лицо» на позднем слое — не картинка лица, а сумма сотен черт с ранних слоёв, каждая из которых сама по себе ничего о лице не знает.

Глубина — число слоев, а не ум

Слово «глубокая» про модель звучит как «мудрая». Внутри оно значит одно: слоёв много. Глубина (depth) — счётчик этажей в стопке. Три слоя — мелкая сеть: соберёт из черт разве что цифру на конверте. Сотни слоёв — глубокая: хватает ступенек, чтобы из пикселей дорасти до лица, а из слогов — до смысла абзаца. Это про длину лестницы, а не про то, кто по ней ходит.

Отсюда два следствия. Первое: глубокая модель не «понимает лучше» — у неё длиннее цепочка преобразований, и на верхних этажах есть место сложным вещам. Второе: за длину лестницы платят — каждый слой ждёт предыдущего, и чем этажей больше, тем дольше и дороже один проход. Когда движок на сайте отвечает медленнее другого, часто это именно стопка повыше, а не «думает старательнее».

Почему мелочь держится хуже формы

Вернись к татуировке из начала урока. Лицо, халат, поза — крупные формы. На каждую работает вся стопка: сотни черт с ранних слоёв, десятки форм со средних, и поздний слой получает мощный, отовсюду подтверждённый сигнал. Татуировка-якорь — узкая комбинация: несколько линий на небольшом участке кожи. Её ловят немногие нейроны поздних слоёв, и кормят их немногие черты. Если во входе про неё сказано вскользь, до верхних этажей доходит тихий сигнал, и сумма ложится на порог — та самая монетка из урока 5.

Важно понять, что это не «невнимательность». Модель ничего не читает построчно и не расставляет приоритеты. Крупное побеждает мелкое чисто арифметически: за крупным стоит больше слоёв и больше примеров, а мелкое собирается наверху из немногого. Без твоей помощи мелочь проигрывает всегда — и проигрывает честно.

Якорь для мелкой детали

Раз мелочь собирают поздние слои из немногого, дай им больше: назови деталь явно, первой и наблюдаемыми словами. «Тату» — один слабый вход. «Небольшая татуировка-якорь чёрными линиями на левом предплечье, чёткая, полностью в кадре» — пять входов, каждый со своей стопкой примеров, и все тянут в одну точку. Плюс место в кадре: рукав закатан, рука видна. Это не уговор — это добавка сигнала ровно туда, где его не хватало.

Задание ниже — ровно это. Заготовка уже собрана так, чтобы мелкая деталь шла первой и подробно, а крупная форма — коротко: ей и так хватит стопки. Подсказки в полях рабочие, можно оставить как есть.

Выбери вариант — разбор появится сразу, и на верный, и на неверный.