Модель и калькулятор: как ИИ считает с инструментами

Материал для тех, кто уже работает с ИИ и хочет понять, почему модели ошибаются в числах и как это обходят разработчики систем. Программировать для этого не нужно: речь о том, как устроены сервисы, которыми вы пользуетесь, и что спрашивать, когда во многих организациях появляются внутренние ИИ-помощники для расчётов.

Почему модель ошибается в числах

Модель выдаёт ответ по частям текста. Для неё «0,084» – такая же последовательность знаков, как слово. Когда арифметика простая и часто встречалась в обучающих текстах, модель почти всегда «попадает». Когда числа необычные или вычисление встроено в длинный текст задачи, вероятность ошибки растёт [1]. Это не случайный сбой, который исправят в следующей версии, а свойство самого способа работы. Новые модели ошибаются реже, но в проверке 2025 года пять сильных систем давали неверный итог в 37–55 % практических расчётных задач, причём чаще всего – на последнем шаге, при вычислении или округлении [2].

Во всех решениях ниже модель разбирает задачу и составляет план, а программа выполняет вычисления.

Три способа отдать вычисление инструменту

Модель пишет программу, программа считает. В работе, которая вышла препринтом в 2022 году, модель для каждой задачи писала короткую программу на Python, которую затем запускали, чтобы получить ответ. На наборах математических и алгоритмических задач такой подход оказался точнее, чем пошаговое рассуждение у моделей намного большего размера [9]. Близкий подход назвали «программой мыслей»: рассуждение записывается как программа, а вычисление выполняет внешний компьютер. Прирост по сравнению с пошаговым рассуждением – в среднем около 12 % [10].

«With PAL, decomposing the natural language problem into runnable steps remains the only learning task for the LLM, while solving is delegated to the interpreter.»

Перевод: «При таком подходе единственной задачей модели остаётся разложить задачу, записанную обычным языком, на выполнимые шаги, а решение поручается интерпретатору». – Gao и соавт., ICML 2023 [9]

Модель вызывает готовый специализированный калькулятор. В медицине проверили три способа помочь модели в клинических расчётах: поиск по справочным материалам, общий интерпретатор кода и набор специальных калькуляторов под каждую формулу. Лучше всего сработали специальные калькуляторы: число неверных ответов сократилось в 5,5 и 13 раз для двух семейств моделей [6]. Для инженера аналог – утверждённые расчётные программы и методики. Если система на основе модели вызывает их, а не считает сама, риск ошибок, которые модель делает при вычислении, снижается. Проверять при этом всё равно нужно: верно ли формула реализована в программе, те ли входные данные, какие заданы настройки метода и допустимая численная погрешность. Остаются и ошибки в исходных данных и в выборе того, что считать.

Модель составляет уравнение, численный метод его решает. В инженерных задачах, где решение ищется подбором (уравнения трения в трубах, экспоненциальные зависимости в электронике), модель сама выдавала число с большой ошибкой. Когда модель только записывала уравнение и начальное приближение, а решал классический метод Ньютона, средняя относительная ошибка снизилась на 67,9–81,8 %. Сильнее всего – в задачах электроники, где зависимости экспоненциальные [8].

Что остаётся проверять, даже если считает программа

Проверенный вычислительный инструмент снижает риск ошибок, которые модель делает при вычислении. Ошибки постановки и ошибки в самой программе он не убирает. Детерминированный расчёт даёт один и тот же результат при тех же данных: это воспроизводимость, а не доказательство правильности.

Есть и обратный эффект. Обзор работ о самоисправлении моделей 2024 года пришёл к выводу, что модели плохо исправляют свои ошибки сами, но хорошо – когда есть надёжная внешняя обратная связь, например результат выполнения кода или проверки [12]. Работа, вышедшая препринтом в 2023 году, показала, что без такой обратной связи попытка «подумать ещё раз» иногда даже ухудшает ответ [11]. Значит, ценность инструмента не только в том, что он считает, но и в том, что он даёт модели и человеку проверяемый результат.

Таблицы: сначала почистить, потом считать кодом

С таблицами разработчики пришли к той же схеме. Одна из систем для сложных вопросов по таблицам работает в три шага: разбивает сложный вопрос на простые, чистит таблицу от шума и лишнего, а ответ получает выполнением программы по очищенной таблице [29]. Для инженера это знакомо: прежде чем считать статистику по протоколу, проверяют, все ли строки на месте и нет ли явных ошибок записи. Отличие одно – в системе эту работу делает модель, и проверять её нужно так же, как любой другой вывод модели. Особенно – то, что именно было «вычищено» как шум: выброс может оказаться несоответствующим образцом, а не ошибкой данных.

Вопросы к ИИ-помощнику для расчётов

Если в вашей организации предлагают ИИ-помощника для расчётов или анализа протоколов, полезно задать разработчикам несколько вопросов:

  1. Кто выполняет вычисления: модель или программа? Если программа, то какая и проверена ли она?
  2. Видит ли пользователь подставленные значения и формулы или только итог?
  3. Что помощник делает, если данных не хватает: спрашивает или подставляет значение сам?
  4. Как помощник обращается с подозрительными значениями в таблице: отмечает или исправляет?
  5. На каких контрольных примерах его проверяли, сколько их было и где результаты этой проверки?
  6. Как в работу включён инженер: что он подтверждает и что подписывает?

Самопроверки помощника недостаточно: он должен показывать формулу, подстановку и результат, а инженер – сверять их и принимать решение.

Источники

Нумерация общая для всех материалов четвёртого дня.

Полный список источников дня – в файле «Источники» в папке дня.


Автор курса

Виталий Пиков

Телефон: +7 (963) 782-92-78 · E-mail: vitaly@pikov.expert · Сайт: https://pikov.expert · Telegram: @UnderLineSecurity