Эмбеддинги: как нейросеть превращает слова в координаты на карте смыслов

Вы спрашиваете ИИ: «Что ближе — кот и кошка или кот и самолёт?». Он отвечает мгновенно, без колебаний. Но вот загвоздка: нейросеть не понимает русский язык. Она вообще не понимает слов. Она понимает только числа.

Как же тогда получается, что «кот» и «кошка» оказываются рядом, а «кот» и «самолёт» — на противоположных концах какой-то виртуальной карты?

Ответ — в эмбеддингах.

Что такое эмбеддинг

Эмбеддинг — это способ превратить слово в набор чисел. Не в одно число, а в сотни. Каждое число — это координата в многомерном пространстве.

Возьмём упрощённый пример. Слово «кот» может стать чем-то вроде:

кот → [0.7, -0.3, 0.2, 0.9, -0.1, 0.4,…]

кошка → [0.68, -0.28, 0.22, 0.88, -0.12, 0.38,…]

самолёт → [-0.5, 0.9, -0.8, 0.1, 0.7, -0.3,…]

Заметили? Координаты «кошки» похожи на координаты «кота». А у «самолёта» знаки другие и значения совсем другие.

Карта вместо словаря

Вот главная аналогия, которая всё объясняет.

Представьте гигантскую географическую карту. Только это не карта городов, а карта смыслов. Каждое слово — точка на этой карте. «Кот», «кошка», «котёнок», «мурка» — все они стоят рядом, образуя островок про кошачьих. Чуть дальше — «собака», «щенок», «овчарка». А «самолёт», «поезд», «автобус» — это совсем другой район, где-то на другом конце карты.

Нейросеть не знает определений слов. Она просто заметила: в миллиардах текстов «кот» и «кошка» появляются в похожих предложениях, рядом с похожими словами. Значит, на карте смыслов они должны стоять рядом.

Вот так выглядит упрощённая схема:

Рядом с «кошкой» находятся «кот», «котёнок», «мурка» — всё про кошачьих.

Рядом с «собакой» — «щенок», «овчарка» — всё про собачьих.

Рядом с «самолётом» — «поезд», «машина» — всё про транспорт.

Почему «собака» ближе к «щенку», чем к «самолёту»?

Потому что на карте смыслов у «собаки» и «щенка» много общих черт:

оба одушевлённые
оба животные
оба домашние
оба четвероногие

У «самолёта» этих черт нет. Зато у него есть другие: транспорт, металлический, летает. Поэтому «самолёт» на карте далеко от «собаки».

Почему измерений сотни, а не три

В реальности эмбеддинги содержат сотни координат, не две-три. Каждая координата — это какой-то признак. Один признак может отвечать за «одушевлённость», другой — за «размер», третий — за «домашность», четвёртый — за «мягкость».

Человек не может представить себе 300-мерное пространство. Но нейросеть не «представляет» — она просто работает с числами. И для неё это естественно, как для нас — трёхмерное.

Как нейросеть это выучила

Вот самый удивительный момент. Никто не давал нейросети словарь с определениями. Не объяснял ей, что «кошка — это млекопитающее семейства кошачьих».

Она выучила всё сама. Вот как это работает:

Берёт миллиарды предложений из интернета
Видит: «кот погнался за мышью» — значит, «кот» и «мышь» связаны
Видит: «кошка сидела на подоконнике» — «кошка» и «подоконник» рядом
Видит: никогда не встречала «кошка полетела на самолёте» — значит, эти слова далеки

За миллионы итераций модель выстраивает карту, где каждое слово заняло своё место. Без правил. Без словаря. Только через контекст.

Зачем это нужно

Эмбеддинги — это фундамент, на котором держится почти всё в современном ИИ:

Поисковики: когда вы ищете «большой пёс», Google находит «огромная собака» — потому что их эмбеддинги близки
Переводчики: «cat» и «кот» указывают в одном направлении в пространстве
Рекомендации: «найди песни похожие на эту» — работает через сравнение эмбеддингов
Чат-боты: каждое слово в вашем вопросе превращается в координаты, а ответ формируется в том же пространстве

Без эмбеддингов не было бы ChatGPT. Не было бы нормального перевода. Не работал бы семантический поиск. Это та база, которую редко показывают, но без неё ничего не работает.

Запомните главное

Нейросеть не понимает значение слова. Она понимает положение слова на карте. «Кот» и «кошка» рядом не потому, что модель знает их смысл, а потому что они ведут себя одинаково — появляются в одинаковых контекстах.

Это как если бы иностранцу показали миллион фотографий: на одних — коты, на других — самолёты. Он бы не знал названий, но понял бы, что коты на фотографиях похожи друг на друга, а коты и самолёты — нет.

Эмбеддинги — это и есть такие «фотографии», только вместо пикселей — числа, а вместо камеры — миллиарды текстов из интернета.

Теперь вы знаете, как ИИ читает смысл. И почему это только начало.