В данной статье представлены итоги эксперимента по применению больших языковых моделей (LLM) для создания структуры университетских курсов. Для формирования запросов к LLM использовались такие методы промпт-инжиниринга, как zero-shot, few-shot, chain-of-thought и tree-of-thought. Для эксперимента преимущественно использовались квантованные модели, такие как mistral-7b-instruct, mixtral-8x7b-instruct, openchat_3.5, saiga2_13b, starling-lm-7b-alpha, tinyllama и другие. Сгенерированные ими структуры курсов сравнивались с данными, полученными с помощью ChatGPT-4. Модели openchat_3.5.q5_k_m и starling-lm-7b-alpha.q5_k_m показали сопоставимое с~ChatGPT-4 качество генерации рабочих программ дисциплин. Эксперимент подчеркивает возможности применения LLM в сфере образования и указывает на перспективные направления для дальнейших исследований. С. 32-44.

This article presents the outcomes of an experiment employing large language models (LLMs) in the development of university course structures. Various prompt engineering methods, including zero-shot, few-shot, chain-of-thought, and tree-of-thought, were employed to formulate queries to LLMs. Primarily, quantized models such as mistral-7b-instruct, mixtral-8x7b-instruct, openchat_3.5, saiga2_13b, starling-lm-7b-alpha, tinyllama, among others, were utilized for the experiment. The generated course structures were compared with data obtained from ChatGPT-4. Models openchat_3.5.q5_k_m and starling-lm-7b-alpha.q5_k_m demonstrated comparable quality in generating educational program structures to ChatGPT-4. The experiment underscores the potential applications of LLMs in the field of education and highlights promising directions for further research.