Используя методы тропической математики, можно упростить структуру нейронной сети. Целью настоящей работы является исследование эффективности использования тропических функций в нейронных сетях. Базовая алгебраическая структура в тропической математике --- полукольцо с выбором минимума (или максимума) в качестве сложения. Такая структура естественно возникает в работе с некоторыми нейронными сетями, например сетями с функцией активации ReLU. В рамках этого подхода произвольная кусочно-линейная функция с фиксированным типом выпуклости может быть представлена тропическим многочленом, а произвольная кусочно-линейная функция --- тропической рациональной функцией. Таким образом, слой нейронной сети с линейной преактивацией и ReLU-активацией можно рассматривать как векторнозначную тропическую рациональную функцию, которая, в свою очередь, может быть представлена двумя тропическими слоями. В работе были реализованы два тропических слоя и построены пять тропических архитектур. Обучение моделей проводилось на датасете, целью которого было оценить вероятность наличия сердечно-сосудистых заболеваний у пациентов по определенному набору характеристик. Все модели имели одинаковые гиперпараметры. Каждая из моделей обучалась в течение 100 эпох с использованием оптимизаторов Adam и SGD. Сравнение результатов показало, что наилучшей точности достигла модель со смешанной архитектурой, состоящая из двух линейных слоев с min-слоем и max-слоем между ними. Такая точность была достигнута при использовании оптимизатора Adam. Классическая модель набрала 77,3 %, а тропическая 77,7 %. С. 18-27.

Using the methods provided by tropical mathematics we can simplify the structure of a neural network, which increases its explainability, without decreasing its accuracy. This paper aims to explore the use of tropical functions in neural networks and compare their efficiency with classical ones. Theoretical framework of tropical mathematics is a semiring with idempotent addition, which is a natural approach to piecewise-linear neural networks, e.g. networks with ReLU activation. Within this approach, piecewise-linear convex function is a tropical polynomial, and general piecewise-linear functions are tropical rational functions. Thus a layer of a neural network with linear preactivation and ReLU activation can be viewed as a vector-valued tropical rational function, which in turn can be represented by two tropical layers. Two tropical layers were implemented, and five tropical architectures were constructed. The models were trained on a heart disease dataset, aiming to determine the presence of heart disease. All models had the same hyperparameters. Each of the models was trained for 100 epochs using Adam and SGD optimizers. The results of the comparison showed that the best accuracy was achieved by a mixed-architecture model using two linear layers. The comparison results showed that the best accuracy was achieved by a mixed-architecture model with two linear layers with a min-layer and a max-layer in between. This accuracy was achieved by using an Adam optimizer. The classical model scored 77.3 % and the tropical 77.7 %.

В работе представлены результаты опросов студентов, обучавшихся у автора на протяжении 2005–2010 годов (то есть учившихся на 1–2 курсах ФКТИ в СПбГЭТУ «ЛЭТИ»). Целью работы является проверка адекватности и актуальности математических знаний, предлагаемых в рамках курсов, читаемых преподавателями кафедры, для молодых специалистов, окончивших ВУЗ и работающих по специальности или продолжающих обучение в аспирантуре. Данные, полученные автором, позволяют утверждать, что сокращение математических курсов приведет к снижению востребованности выпускников СПбГЭТУ «ЛЭТИ» на рынке труда. Более того, результаты опросов свидетельствуют о том, что количество часов, посвященных некоторым разделам математики (например теории графов), стоило бы увеличить. C. 22-25.

Results of poll made among recent graduates of LETI are presented. Graduates that attended author’s practical sessions during 2005-2010 (i.e. first- or second-year students of Faculty of Computer Science and Technology) were polled. The poll aims to evaluate whether the courses given by department of mathematics are up-to-date and adequate for recent graduates that are working in the fields relevant to their education or are continuing their studies as graduate students. Poll results indicate that decrease of courses covering mathematics will lead to the decrease of LETI graduates’ market value. It also indicates that teaching hours dedicated to some branches of mathematics (e.g. graph theory) should be increased.

Новые методы обучения

В настоящей работе рассматривается разрабатываемая схема внедрения нового научного направления в учебный процесс на примере внедрения направления «Тропическая математика» на факультете компьютерных технологий и информатики СПбГЭТУ «ЛЭТИ». С. 79-88.

The case of introduction of Tropical Mathematics at the Faculty of Computer Science and Technology, St. Petersburg Electrotechnical University “LETI”, is considered. Using it as an example, a tentative scheme of introduction of a new area of research to the existing education process is presented.pagebreak