В статье описывается численный эксперимент по решению математических задач чат-ботами (YandexGPT 2, ChatGPT 3.5, Gemini, Copilot) по некоторым темам математического анализа (пределы, производные, интегралы), включающий 693 задачи, и вычислительной математики (решение нелинейных уравнений, решение систем линейных уравнений, интерполяция функций, численное интегрирование), состоящий из 45 задач. Рассматриваются основные характеристики современных виртуальных помощников. Представлен обзор исследований по применению искусственного интеллекта в решении математических задач на различных тестах и наборах данных. В работе рассматриваются недостатки, проявляющиеся в работе чат-ботов, анализируется их производительность на конкретных наборах данных. Проводится сравнительный анализ количества правильно решенных задач в рассматриваемых системах. Обсуждаются основные проблемы, с которыми можно столкнуться при подробном решении задач по вычислительной математике в каждом из чат-ботов. Данное исследование может представлять практический интерес для исследователей, разработчиков, преподавателей и пользователей, которые применяют данные виртуальные помощники в своей работе. Проведенный эксперимент позволит лучше оценить эффективность применения рассматриваемых систем в области математики. С. 33-47.
The paper describes a numerical experiment on calculation of mathematical problems by chatbots (Yandex GPT 2, ChatGPT 3.5, Gemini, Copilot) on some topics of mathematical analysis (limits, derivatives, integrals), including 693 problems, and computational mathematics (solution of nonlinear equations, solution of systems of linear equations, interpolation of functions, numerical integration), consisting of 45 problems. The main characteristics of modern virtual assistants are considered. A review of research on the application of artificial intelligence in solving mathematical problems on various tests and data sets is presented. The paper considers the shortcomings manifested in the work of chatbots, analyzes their performance on specific data sets. A comparative analysis of the number of correctly solved problems in the considered systems is carried out. The main problems that can be encountered when solving computational mathematics problems in detail in each of the chatbots are discussed. This study may be of practical interest for researchers, developers, teachers and users who use these virtual assistants in their work. The conducted experiment will allow to better evaluate the effectiveness of the application of the considered systems in the field of mathematics.
Ключевые слова: чат-бот, YandexGPT, ChatGPT, Gemini, Copilot, численный эксперимент, искусственный интеллект, математический анализ, вычислительная математика.
Keywords: chatbot, YandexGPT, ChatGPT, Gemini, Copilot, numerical experiment, artificial intelligence, mathematical analysis, computational mathematic
Данное исследование рассматривает применение больших языковых моделей (LLM), в частности GPT-4o, для геотегинга текста, представляя новый набор данных твитов с географическими аннотациями. Используя подходы с нулевым и малым количеством обучающих примеров, мы демонстрируем способность GPT-4o определять местоположение на основе явных и неявных текстовых ссылок в твитах, достигая средней погрешности всего в 43 км для явных упоминаний. Наши эксперименты показывают надежность географических знаний больших языковых моделей и их адаптируемость к задачам геотегинга с минимальным контекстом. Исследование также подчеркивает потенциал LLM в улучшении методов извлечения географической информации из текста, выявляет проблемы и влияние качества данных, а также возможности повышения эффективности модели при работе с неявными ссылками и зашумленными данными (на англ.). С. 48–65.
This study explores the application of Large Language Models (LLMs), particularly GPT-4o, to textual geotagging, introducing a novel dataset of tweets with geographical annotations. Using zero-shot and few-shot approaches, we demonstrate GPT-4o’s ability to infer location from explicit and implicit textual references in tweets, achieving average errors as low as 43 km for explicit mentions. Our experiments reveal LLMs’ robust geographical knowledge and adaptability to geotagging tasks with minimal context. The research also highlights LLMs’ potential in advancing geographical inference from text, identifying challenges and effects of data quality, and opportunities for improving model performance on implicit references and noisy data.
Ключевые слова: Большая языковая модель (LLM), GPT, Геотегинг, Обработка естественного языка (NLP), Искусственный интеллект.
Keywords: Large Language Model (LLM), GPT, Geotagging, Natural Language Processing (NLP), Artificial Intelligence.