В статье описывается численный эксперимент по решению математических задач чат-ботами (YandexGPT 2, ChatGPT 3.5, Gemini, Copilot) по некоторым темам математического анализа (пределы, производные, интегралы), включающий 693 задачи, и вычислительной математики (решение нелинейных уравнений, решение систем линейных уравнений, интерполяция функций, численное интегрирование), состоящий из 45 задач. Рассматриваются основные характеристики современных виртуальных помощников. Представлен обзор исследований по применению искусственного интеллекта в решении математических задач на различных тестах и наборах данных. В работе рассматриваются недостатки, проявляющиеся в работе чат-ботов, анализируется их производительность на конкретных наборах данных. Проводится сравнительный анализ количества правильно решенных задач в рассматриваемых системах. Обсуждаются основные проблемы, с которыми можно столкнуться при подробном решении задач по вычислительной математике в каждом из чат-ботов. Данное исследование может представлять практический интерес для исследователей, разработчиков, преподавателей и пользователей, которые применяют данные виртуальные помощники в своей работе. Проведенный эксперимент позволит лучше оценить эффективность применения рассматриваемых систем в области математики. С. 33-47.

The paper describes a numerical experiment on calculation of mathematical problems by chatbots (Yandex GPT 2, ChatGPT 3.5, Gemini, Copilot) on some topics of mathematical analysis (limits, derivatives, integrals), including 693 problems, and computational mathematics (solution of nonlinear equations, solution of systems of linear equations, interpolation of functions, numerical integration), consisting of 45 problems. The main characteristics of modern virtual assistants are considered. A review of research on the application of artificial intelligence in solving mathematical problems on various tests and data sets is presented. The paper considers the shortcomings manifested in the work of chatbots, analyzes their performance on specific data sets. A comparative analysis of the number of correctly solved problems in the considered systems is carried out. The main problems that can be encountered when solving computational mathematics problems in detail in each of the chatbots are discussed. This study may be of practical interest for researchers, developers, teachers and users who use these virtual assistants in their work. The conducted experiment will allow to better evaluate the effectiveness of the application of the considered systems in the field of mathematics.