В данной статье представлены итоги эксперимента по применению больших языковых моделей (LLM) для создания структуры университетских курсов. Для формирования запросов к LLM использовались такие методы промпт-инжиниринга, как zero-shot, few-shot, chain-of-thought и tree-of-thought. Для эксперимента преимущественно использовались квантованные модели, такие как mistral-7b-instruct, mixtral-8x7b-instruct, openchat_3.5, saiga2_13b, starling-lm-7b-alpha, tinyllama и другие. Сгенерированные ими структуры курсов сравнивались с данными, полученными с помощью ChatGPT-4. Модели openchat_3.5.q5_k_m и starling-lm-7b-alpha.q5_k_m показали сопоставимое с~ChatGPT-4 качество генерации рабочих программ дисциплин. Эксперимент подчеркивает возможности применения LLM в сфере образования и указывает на перспективные направления для дальнейших исследований. С. 32-44.

This article presents the outcomes of an experiment employing large language models (LLMs) in the development of university course structures. Various prompt engineering methods, including zero-shot, few-shot, chain-of-thought, and tree-of-thought, were employed to formulate queries to LLMs. Primarily, quantized models such as mistral-7b-instruct, mixtral-8x7b-instruct, openchat_3.5, saiga2_13b, starling-lm-7b-alpha, tinyllama, among others, were utilized for the experiment. The generated course structures were compared with data obtained from ChatGPT-4. Models openchat_3.5.q5_k_m and starling-lm-7b-alpha.q5_k_m demonstrated comparable quality in generating educational program structures to ChatGPT-4. The experiment underscores the potential applications of LLMs in the field of education and highlights promising directions for further research.

В статье описывается экспериментальная проверка приложения для поиска схожих фрагментов кода и методов анализа данных для оценивания студенческих работ по программированию. Предложенный в статье метод включает в себя использование детектора, рассчитывающего процент схожести двух работ, и анализ данных об активности студентов при выполнении работы. Это позволяет находить не только похожие работы, но и находить источники плагиата. С. 53-59.

The paper describes the experiment that aims finding similar parts in student’s programming assignments and methods of data analyses for evaluating students’ performance. Proposed technique includes usage of source code similarity detector and analyses of students’ activities. The technique provides also finding the real author of given assignment.