# Модель и калькулятор: как ИИ считает с инструментами

Материал для тех, кто уже работает с ИИ и хочет понять, почему модели ошибаются в числах и как это обходят разработчики систем. Программировать для этого не нужно: речь о том, как устроены сервисы, которыми вы пользуетесь, и что спрашивать, когда во многих организациях появляются внутренние ИИ-помощники для расчётов.

## Почему модель ошибается в числах

Модель выдаёт ответ по частям текста. Для неё «0,084» – такая же последовательность знаков, как слово. Когда арифметика простая и часто встречалась в обучающих текстах, модель почти всегда «попадает». Когда числа необычные или вычисление встроено в длинный текст задачи, вероятность ошибки растёт [1]. Это не случайный сбой, который исправят в следующей версии, а свойство самого способа работы. Новые модели ошибаются реже, но в проверке 2025 года пять сильных систем давали неверный итог в 37–55 % практических расчётных задач, причём чаще всего – на последнем шаге, при вычислении или округлении [2].

Во всех решениях ниже модель разбирает задачу и составляет план, а программа выполняет вычисления.

## Три способа отдать вычисление инструменту

**Модель пишет программу, программа считает.** В работе, которая вышла препринтом в 2022 году, модель для каждой задачи писала короткую программу на Python, которую затем запускали, чтобы получить ответ. На наборах математических и алгоритмических задач такой подход оказался точнее, чем пошаговое рассуждение у моделей намного большего размера [9]. Близкий подход назвали «программой мыслей»: рассуждение записывается как программа, а вычисление выполняет внешний компьютер. Прирост по сравнению с пошаговым рассуждением – в среднем около 12 % [10].

> «With PAL, decomposing the natural language problem into runnable steps remains the only learning task for the LLM, while solving is delegated to the interpreter.»
>
> Перевод: «При таком подходе единственной задачей модели остаётся разложить задачу, записанную обычным языком, на выполнимые шаги, а решение поручается интерпретатору». – Gao и соавт., ICML 2023 [9]

**Модель вызывает готовый специализированный калькулятор.** В медицине проверили три способа помочь модели в клинических расчётах: поиск по справочным материалам, общий интерпретатор кода и набор специальных калькуляторов под каждую формулу. Лучше всего сработали специальные калькуляторы: число неверных ответов сократилось в 5,5 и 13 раз для двух семейств моделей [6]. Для инженера аналог – утверждённые расчётные программы и методики. Если система на основе модели вызывает их, а не считает сама, риск ошибок, которые модель делает при вычислении, снижается. Проверять при этом всё равно нужно: верно ли формула реализована в программе, те ли входные данные, какие заданы настройки метода и допустимая численная погрешность. Остаются и ошибки в исходных данных и в выборе того, что считать.

**Модель составляет уравнение, численный метод его решает.** В инженерных задачах, где решение ищется подбором (уравнения трения в трубах, экспоненциальные зависимости в электронике), модель сама выдавала число с большой ошибкой. Когда модель только записывала уравнение и начальное приближение, а решал классический метод Ньютона, средняя относительная ошибка снизилась на 67,9–81,8 %. Сильнее всего – в задачах электроники, где зависимости экспоненциальные [8].

## Что остаётся проверять, даже если считает программа

Проверенный вычислительный инструмент снижает риск ошибок, которые модель делает при вычислении. Ошибки постановки и ошибки в самой программе он не убирает. Детерминированный расчёт даёт один и тот же результат при тех же данных: это воспроизводимость, а не доказательство правильности.

- **Та ли задача посчитана.** Программа выполнит то, что написала модель. Если модель взяла длину провода 6 м вместо 12, программа посчитает неверную задачу, и результат будет выглядеть таким же надёжным, как верный.
- **Те ли данные.** Модель может перенести в программу не то число из условия, например 28,2 В вместо 24 В.
- **Тот ли метод.** Для табличных данных разные определения дают разные «правильные» ответы: выборочное и генеральное стандартное отклонение, разные способы считать квартили. Программа посчитает по тому определению, которое выбрала модель.
- **Нет ли подмены проверки.** Если программа, которую написала модель, сама же проверяет результат, это не независимая проверка: ошибка в понимании задачи попадёт и в расчёт, и в проверку.

Есть и обратный эффект. Обзор работ о самоисправлении моделей 2024 года пришёл к выводу, что модели плохо исправляют свои ошибки сами, но хорошо – когда есть надёжная внешняя обратная связь, например результат выполнения кода или проверки [12]. Работа, вышедшая препринтом в 2023 году, показала, что без такой обратной связи попытка «подумать ещё раз» иногда даже ухудшает ответ [11]. Значит, ценность инструмента не только в том, что он считает, но и в том, что он даёт модели и человеку проверяемый результат.

## Таблицы: сначала почистить, потом считать кодом

С таблицами разработчики пришли к той же схеме. Одна из систем для сложных вопросов по таблицам работает в три шага: разбивает сложный вопрос на простые, чистит таблицу от шума и лишнего, а ответ получает выполнением программы по очищенной таблице [29]. Для инженера это знакомо: прежде чем считать статистику по протоколу, проверяют, все ли строки на месте и нет ли явных ошибок записи. Отличие одно – в системе эту работу делает модель, и проверять её нужно так же, как любой другой вывод модели. Особенно – то, что именно было «вычищено» как шум: выброс может оказаться несоответствующим образцом, а не ошибкой данных.

## Вопросы к ИИ-помощнику для расчётов

Если в вашей организации предлагают ИИ-помощника для расчётов или анализа протоколов, полезно задать разработчикам несколько вопросов:

1. Кто выполняет вычисления: модель или программа? Если программа, то какая и проверена ли она?
2. Видит ли пользователь подставленные значения и формулы или только итог?
3. Что помощник делает, если данных не хватает: спрашивает или подставляет значение сам?
4. Как помощник обращается с подозрительными значениями в таблице: отмечает или исправляет?
5. На каких контрольных примерах его проверяли, сколько их было и где результаты этой проверки?
6. Как в работу включён инженер: что он подтверждает и что подписывает?

Самопроверки помощника недостаточно: он должен показывать формулу, подстановку и результат, а инженер – сверять их и принимать решение.

## Источники

Нумерация общая для всех материалов четвёртого дня.

- [1] Shrestha S., Kim M., Ross K. W. Mathematical Reasoning in Large Language Models: Assessing Logical and Arithmetic Errors across Wide Numerical Ranges. 2025. Препринт arXiv. https://doi.org/10.48550/arXiv.2502.08680
- [2] Herambourg C., Siuda D., et al. The ORCA Benchmark: Evaluating Real-World Calculation Accuracy in Large Language Models. 2025. Препринт arXiv. https://doi.org/10.48550/arXiv.2511.02589
- [6] Goodell A. J., Chu S. N., et al. Large language model agents can use tools to perform clinical calculations // npj Digital Medicine. 2025. Vol. 8. Art. 163. https://doi.org/10.1038/s41746-025-01475-8
- [8] Kodathala S. V., Vunnam R. Can Large Language Models Solve Engineering Equations? A Systematic Comparison of Direct Prediction and Solver-Assisted Approaches. 2026. Препринт arXiv. https://doi.org/10.48550/arXiv.2601.01774
- [9] Gao L., Madaan A., et al. PAL: Program-aided Language Models // Proceedings of the 40th International Conference on Machine Learning (ICML 2023). PMLR. 2023. Vol. 202. P. 10764–10799. https://proceedings.mlr.press/v202/gao23f.html (препринт arXiv 2022: https://doi.org/10.48550/arXiv.2211.10435)
- [10] Chen W., Ma X., et al. Program of Thoughts Prompting: Disentangling Computation from Reasoning for Numerical Reasoning Tasks // Transactions on Machine Learning Research. 2023. Препринт arXiv 2022: https://doi.org/10.48550/arXiv.2211.12588 (сведения о публикации в TMLR – на странице https://arxiv.org/abs/2211.12588)
- [11] Huang J., Chen X., et al. Large Language Models Cannot Self-Correct Reasoning Yet // International Conference on Learning Representations (ICLR 2024). 2024. P. 32808–32824. https://proceedings.iclr.cc/paper_files/paper/2024/hash/8b4add8b0aa8749d80a34ca5d941c355-Abstract-Conference.html (препринт arXiv 2023: https://doi.org/10.48550/arXiv.2310.01798)
- [12] Kamoi R., Zhang Y., et al. When Can LLMs Actually Correct Their Own Mistakes? A Critical Survey of Self-Correction of LLMs // Transactions of the Association for Computational Linguistics. 2024. Vol. 12. P. 1417–1440. https://doi.org/10.1162/tacl_a_00713
- [29] Jiang C., Yu F., et al. TabDSR: Decompose, Sanitize, and Reason for Complex Numerical Reasoning in Tabular Data // Findings of the Association for Computational Linguistics: EMNLP 2025. P. 3172–3196. https://doi.org/10.18653/v1/2025.findings-emnlp.169

Полный список источников дня – в файле «Источники» в папке дня.

---

<!-- author-block -->
**Автор курса**

Виталий Пиков

- Архитектор информационной безопасности
• РБПО • DevSecOps • AppSec
- Лектор и автор образовательных программ по ИБ и РБПО

Телефон: +7 (963) 782-92-78 ·
E-mail: vitaly@pikov.expert ·
Сайт: https://pikov.expert ·
Telegram: @UnderLineSecurity
