Microchip и современный подход к искусственному интеллекту. Разворачиваем нейронную сеть на 32-битном микроконтроллере (материалы вебинара)

Можно ли смешивать искусственный интеллект и обычную С-программу, не являющуюся частью нейросети, в одном чипе?

(Адил) После разработки проекта нейронная сеть представляет собой библиотеку на С. По сути, никакого смешения языков нет: сгенерированная библиотека встраивается в вашу программу и работает как ее часть.

Возможно ли развертывание нейронной сети не на 32-битном, а на 8-битном микроконтроллере? (Например, на ATMega328P AU1537)

(Адил) Что касается восьмибитных изделий – да, это вполне возможно. Конкретно по названной ATMega328 – это нужно проверить. Но у Microchip есть примеры нейросетей, реализованных на 8- и 16-битных контроллерах.

Есть ли примеры реализации самообучающихся нейронных сетей, решающих задачу классификации поступающей информации, дальнейшее селективное выделение информационных наборов и определение их принадлежности к тому или иному классу? Могут ли такие сети быть реализованы на 32-битных микроконтроллерах?

(Адил) Пример, приведенный в нашей презентации, как раз демонстрировал решение, где входные данные разделялись на классы, а нейронная сеть определяла, к какому классу относятся входные сигналы.
Под самообучающейся нейронной сетью обычно понимают метод обучения без учителя или с частичным привлечением учителя. В любом случае обучение сети на микроконтроллере на текущий момент не поддерживается ни TensorFlow, ни другими средствами разработки от наших партнеров.

Может ли искусственный интеллект использоваться в промышленной автоматике (конкретно — в управлении техпроцессом) и в обучении персонала на стенде с ПЛК-контроллерами?

(Адил) Да, конечно, искусственный интеллект может использоваться в промышленной автоматизации: данные могут сниматься с датчиков, передаваться по беспроводным или проводным интерфейсам, могут анализироваться, классифицироваться, и на их основе могут приниматься решения. Помимо этого, система может управлять конечными устройствами, например – включать и выключать электропитание.
Вторая часть вопроса требует пояснения: я не очень понял, что именно имеется в виду.

Каково быстродействие модели, показанной в презентации? Какое время нужно было на вычисление каждого периода данных?

(Адил) Время требовалось порядка 300 мсек.

II. Ответы на вопросы, заданные через чат

Возможно ли перенести нейросеть из TensorFlow/Кeras? Как оценить производительность и энергопотребление модели, развернутой на специфическом устройстве (микроконтроллере)?

(Адил) Для запуска нейронной сети на микроконтроллере используется TensorFlow Lite for Microcontrollers (TFLM), именно на него опирается рассмотренный на вебинаре Edge Impulse и другие фреймворки. TFLM поддерживает только часть операторов, доступных в TensorFlow и TensorFlow Lite (список операторов представлен по ссылке). TensorFlow умеет конвертировать полную модель TF в модель TensorFlow Lite и в TensorFlow Micro. TensowFlow Micro – это хороший вариант для микроконтроллеров, поскольку он имеет открытый исходный ход и активно развивается.
Выходом TensorFlow Micro является BLOB-файл, который имеет формат статического массива C/C++ и обрабатывается интерпретатором TensorFlow Micro. BLOB содержит и веса, и информацию о архитектуре сети. Использование интерпретатора позволяет управлять запуском моделей – то есть динамически запускать модели, в том числе из внешней памяти.
Производительность нейронной сети на микроконтроллере оценивается так же, как и для любого другого встраиваемого приложения. На https://microchipdeveloper.com/ и https://github.com/ доступны примеры оценки производительности для Edge Impulse.

Каковы минимальные требования к «железу» для запуска нейронной сети? – в частности, какими должны быть разрядность, размер ОЗУ и Flash-памяти, а также другие характеристики для микроконтроллера и для ПЛИС?

(Адил) Требования к MCU зависят от конкретного приложения – для 32-битных микроконтроллеров можно отталкиваться от производительности SAMD21.

Следует ли для запуска нейросети использовать только микроконтроллеры на ядрах ARM Cortex-Mx? Как насчет других ядер (AVR, PIC-8, PIC-16, MIPS-32)?

(Адил) Жестких требований для запуска TensorFlow Micro на МК всего два: поддержка компилятором C++ версии 11 и достаточное количество Flash-памяти и RAM. На данный момент полностью поддерживаются устройства с ядрами ARM Cortex-A и Cortex-M. Для микроконтроллеров с ядром PIC32/MIPS есть Beta-версия компилятора, поддерживающего C++ 11. Остальные МК (AVR, PIC8, PIC16) пока не имеют такой поддержки.
Поддержка параллельных вычислений SIMD позволяет увеличить скорость обработки нейронной сети. Пример ядер с такой поддержкой – ARM Cortex-M4/M7.

Является ли нейронная сеть, сгенерированная Фреймворком, статической с жесткой структурой? Можно ли изменить ее непосредственно на МК, или для этого необходима рекомпиляция во фреймворке?

(Адил) Изменить нейронную сеть можно только во фреймворке. Это требование определяется использованием TensorFlow Micro и не зависит ни от Microchip, ни от производителей фреймворков – Edge Impulse и прочих.

Возможно ли реализовать нейросеть на МК с ОС Linux? Какие дополнительные инструменты понадобятся в этом случае?

(Адил) Да, для этого модель нужно конвертировать в формат TensorFlow Lite. Взаимодействие с моделью осуществляется через API на языках C++ или Python.