Что происходит с текстом внутри языковой модели

Что происходит с текстом внутри языковой модели Схема к учебному курсу. 01 / Текст в числа 02 / Повторяется, пока ответ не готов 03 / Числа в текст Ваш запрос · текст вопроса · Текст в числа Ваш запрос текст вопроса Токенизатор · режет текст на кусочки-токены, у каждого свой номер · Текст в числа Токенизатор режет текст на кусочки-токены, у каждого свой номер Векторы · каждый номер заменяется набором чисел · Текст в числа Векторы каждый номер заменяется набором чисел Модель · слои сопоставляют все токены между собой · Повторяется, пока ответ не готов Модель слои сопоставляют все токены между собой Ответ готов? · Повторяется, пока ответ не готов Ответ готов? Выбор токена · обычно из самых вероятных, с долей случайности · Повторяется, пока ответ не готов Выбор токена обычно из самых вероятных, с долей случайности Вероятности · вероятность каждого возможного следующего токена · Повторяется, пока ответ не готов Вероятности вероятность каждого возможного следующего токена Ответ · номера токенов снова превращаются в текст · Числа в текст Ответ номера токенов снова превращаются в текст нет – новый токен добавляется к тексту и всё повторяется да Легенда ответ шаг обработки проверка ваш запрос