Система доступа на основе технологий NFC и распознавания лиц

8 ноября 2021

Александр Калачев (г. Барнаул)

Программный пакет FP-AI-FACEREC1 разработки STMicroelectronics позволяет реализовать компактную автономную систему управления доступом на компонентах ST, сочетающую технологии NFC и распознавание лиц системой машинного зрения.

Умное пространство по умолчанию предполагает наличие множества датчиков, подсистем, систем, взаимодействующих между собой и с людьми, находящимися в пределах контролируемого пространства. Это взаимодействие может осуществляться как при посредстве электронной техники (панели, экраны, смартфоны, носимые гаджеты), так и при помощи определенных звуков, световых сигналов, вибрации и т.п.

Одним из аспектов контроля, рассматриваемых при организации умного пространства, является безопасность:

• доступ на территорию, доступ в помещения;
• контроль периметра территории, контроль целостности/состояния дверей, окон, ворот;
• локализация присутствия;
• системы оповещения;
• пожарная сигнализация и другое (рисунок 1).

Рис. 1. Примерный перечень и расположение компонентов системы безопасности здания

Элементы СКУД

Одним из компонентов системы безопасности умного пространства являются системы контроля доступа. В общем случае они могут отвечать за следующие действия:

• управление доступом в помещение (управление дверными замками; системами открытия ворот, шлагбаумов; турникетов и прочим.) – рисунок 2;
• управление доступом к панели управления умного дома (к примеру, разграничение прав тех, кто может изменять настройки работы систем, а кто нет, как вариант родители/дети, хотя и те и другие имеют доступ на саму территорию);
• учет рабочего времени, смен, дежурств и пр.

Одним из путей реализации указанных действий может служить связка NFC+камера+микроконтроллер, составляющая, по сути, систему двухфакторной авторизации.

NFC-метка показывает, что ее обладатель имеет права доступа, а система распознавания биометрических данных (в указанном случае – лица) будет подтверждать, что это именно тот человек, которому данная карта выдана.

Рис. 2. Пример набора датчиков и исполнительных узлов на входе в здание

СКУД с использованием решений STMicroelectronics

Структура

Программные и аппаратные компоненты STMicroelectronics позволяют с относительной легкостью реализовать подобную систему (рисунок 3) – NFC-считыватель, подключаемый к основному контроллеру напрямую или работающий в связке с низкопотребляющим контроллером, основной контроллер на базе высокопроизводительной серии STM32H7 или STM32MP, цифровая камера (c параллельным или USB-интерфейсом).

Рис. 3. Структурная схема системы управления доступом с NFC и подсистемой распознавания лиц

Прототипирование

Если рассматривать макетный вариант системы на базе демонстрационных и отладочных наборов от STMicroelectronics, получается  следующий вариант (рисунок 4):

• считыватель NFC-карт – вариант с платы NFC-ридера с контроллером (ST25R3916-DISCO) или просто плата считывателя (X-NUCLEO-NFC06A1) – обе платы в качестве активного компонента имеют достаточно универсальный вариант RFID-считывателя ST25R3916;
• плата с камерой высокого разрешения B-CAMS-OMV (чип камеры – OV5640, до 5 мегапикселей) – для варианта с STM32MP157F допустимо применение USB-камеры;
• центральная основная плата – STM32H747I-DISCO или STM32MP157F-EV1 – микроконтроллеры этих демонстрационных плат обладают достаточно высокой производительностью для поддержки обработки фото- и видеоданных, а также для организации дружественного интуитивно-понятного пользовательского интерфейса. Вариант с STM32MP157F поддерживает также популярную операционную систему Linux, что существенно упрощает системную интеграцию устройства в инфокоммуникационную структуру здания/предприятия/территории.

Рис. 4. Подборка демонстрационных и отладочных плат для макетного варианта системы управления доступом с технологиями NFC и машинного зрения

Программное обеспечение

Стек программного обеспечения для реализации системы представляется примерно следующим.

Для работы с NFC-ридерами

X-CUBE-NFC6 – пакет расширения для STM32Cube, предназначенный для работы с микросхемами серии ST25R3916:

• простая переносимость между различными семействами микроконтроллеров STM32;
• полная реализация уровня программной абстракции RF/NFC (RAFAEL) для всех основных технологий, включая ISO-DEP и NFC-DEP;
• пример приложения для обнаружения NFC-меток различных типов и мобильных телефонов, поддерживающих P2P, режимы эмуляции карт и чтения/записи;
• пример приложения для чтения и записи сообщений NDEF;
• примеры реализаций, доступных для платы расширения X-NUCLEO-NFC06A1, подключенной к плате разработки NUCLEO-L053R8 или NUCLEO-L476RG.

STSW-ST25R011 – программный пакет с исходными кодами для реализации встраиваемого программного обеспечения демонстрационной платы ST25R3916 DISCO, включающее в себя RFAL-драйвер NFC-ридера ST25R3916 для микроконтроллера STM32L476.

Пакет STSW-ST25R011 построен на основе программных библиотек и методологии STM32Cube™ и содержит несколько примеров, раскрывающих возможности устройства ST25R3916.

Функции режима USB позволяют пользователю запускать полный набор демонстрационных примеров ST25R3916 с ПК, на котором установлено программное обеспечение (с помощью STSW-ST25R010, установщика программного обеспечения для ПК ST25R3916-DISCO). Естественно, примеры можно модернизировать и для работы демонстрационной платы в связке с внешним хост-контроллером. 

Опции машинного зрения на STM32

Основная «магия» рассматриваемой системы управления доступом заключается в функции распознавания лиц. На высокопроизводительных семействах микроконтроллеров STM32 это возможно благодаря новому программному пакету FP-AI-FACEREC.

FP-AI-FACEREC – функциональный пакет STM32Cube, содержащий примеры приложений для распознавания лиц.

FP-AI-FACEREC состоит из программных компонентов, созданных пакетом расширения искусственного интеллекта (ИИ) X-CUBE-AI STM32Cube, дополненным компонентами прикладного программного обеспечения, предназначенными для приложения распознавания лиц.

FP-AI-FACEREC позволяет разрабатывать расширенные функции, основанные на распознавании лиц, на микроконтроллерах серии STM32H7 или многоядерных контроллерах семейства STM32MP1. FP-AI-FACEREC – это полностью встроенное решение для искусственного интеллекта, обрабатывающее изображения локально на микроконтроллере или микропроцессоре,  не требующее отправки каких-либо данных в облако на этапе регистрации изображения или его распознавания, что приятно отличает данный пакет от многих аналогичных решений

Программное обеспечение FP-AI-FACEREC поддерживает функцию регистрации данных на устройстве, управление камерой, захват изображений, предварительную обработку, библиотеку машинного обучения, интерфейсы платы – такие как кнопки и джойстики на плате. Библиотека позволяет заносить в память и сохранять до 100 лиц, процесс распознавания выполняется со скоростью примерно 3,6 кадра в секунду. На рисунке 5 представлены кадры в ходе работы приложения при распознавании занесенного и не занесенного в базу лиц пользователя,.

Рис. 5. Распознавание лиц FP-AI-FACEREC – «свой»/«чужой»

Как уже упоминалось, задействуются только встроенные ресурсы микроконтроллера без необходимости сетевого подключения, работы с облачными ресурсами и прочего. Для работы необходимы лишь RGB-камера (достаточно камеры с низким разрешением) и хорошее освещение в зоне распознавания (объекты должны находиться на расстоянии до 1,5 метров). Не допускается наличие  контрового света (например,  ориентирование камеры на окно, свет из-за объекта распознавания и тому подобное).

На основе сопоставления результата распознавания человека и данных, полученных с его NFС-метки, можно принимать решение о дальнейших действиях – открытие дверей, доступ к оборудованию и прочее.

Заключение

Пример программного пакета FP-AI-FACEREC1 показывает, что можно использовать меньше оперативной памяти и вычислительной мощности при сохранении точности и общей производительности приложения, подходящих для задач массового рынка. Пакет в связке с драйверами NFC-считывателей позволяет реализовать компактную автономную систему управления доступом, пригодную для задач разграничения доступа относительно небольшого круга лиц, или для организации доступа в здание группы лиц.

Литература

1. NFC (Near-Field Communication) and RFID – STMicroelectronics
2. ST25R3916 – High performance NFC universal device and EMVCo reader – STMicroelectronics
3. STSW-ST25R011 – Firmware for ST25R3916-DISCO kit – STMicroelectronics
4. X-NUCLEO-NFC06A1 – NFC card reader expansion board based on ST25R3916 for STM32 and STM8 Nucleos – STMicroelectronics
5. B-CAMS-OMV – Camera module bundle for STM32 boards – STMicroelectronics
6. STM32H747I-DISCO – Discovery kit with STM32H747XI MCU – STMicroelectronics
7. STM32MP157F-EV1 – Evaluation board with STM32MP157F MPU – STMicroelectronics
8. FP-AI-FACEREC1_ Lowering the Barrier to Machine Learning Reveals New Applications
9. FP-AI-FACEREC – Artificial Intelligence (AI) face recognition function pack for STM32Cube – STMicroelectronics
10. Artificial Intelligence (AI) and computer vision function pack for STM32H7 microcontrollers