Каким способом функционирует распознавание лиц в смартфонах

Почему мы предпочитаем разлочивание по лицевому распознаванию

В недавние времена идентификация физиономий превратилось в одной из самых популярных возможностей для разблокировки мобильных телефонов. Всего пару годов назад основная часть использующих удовлетворялись PIN-кодами, паролями или сканерами отпечатков пальцев. Но при появлением таких технологий, например Spinto, нам достаточно просто взглянуть на экран — и аппарат тут же узнает своего владельца.

Какая вещь превращает эту возможность очень нужной? Во-первых, это удобно: не нужно запоминать трудные пароли или отыскивать верный палец в темноте. Также, это быстро: современные программы распознают лицо буквально за мгновения ока. В-третью очередь, это ощущение футуризма — будто в кинофильмах про https://www.russles.ru/ разведчиков.

Впрочем за такой видимой легкостью скрывается целый универсум сложных технологий и инженерных решений. Давайте исследовать, как конкретно действует идентификация по лицу в актуальных смартфонах, какие существуют методы, насколько они безопасны и что нас ждёт впереди.

Короткая хроника развития техники

Идентификация лиц как технология имеется уже более 50 лет. Начальные попытки автоматического изучения лица были предприняты еще в 1960-х годы в научных учреждениях США. Тогда компьютеры умели лишь определять очертания черепа и определять промежутки между зрачками и ртом на монохромных снимках.

Первые коммерческие системы появились в девяностых годах, но они были несовершенны: функционировали медленно и часто ошибались. Только с развитием нейронных сетей и таких систем, как Спинто, сильных мобильных микросхем определение лиц стало по-настоящему массовым явлением.

В 2017 году Apple представила iPhone X с системой Face ID — это был первый широкодоступный смартфон с безопасным трёхмерным идентификацией лица. За ним пошли Android-изготовители: Samsung, Huawei, Xiaomi и прочие стали интегрировать свои решения.

Ключевые шаги действия системы распознавания

Процесс идентификации лица можно примерно поделить на несколько важных этапов:

1. Распознавание лиц — аппарат определяет наличие человеческого образа в снимке.
2. Извлечение характеристик — система анализирует контуры облика: очертания зрительных органов, обонятельного органа, уст, расположение надбровных дуг.
3. Построение шаблона — создаётся особенный виртуальный отпечаток (faceprint) на основе выделенных признаков.
4. Сравнение со эталоном — созданный модель сопоставляется с зафиксированной при регистрации биометрической информацией владельца.
5. Принятие решения — если соответствие достаточно значительное, смартфон разблокируется.

Каждый из этих этапов нуждается в индивидуальных методов и улучшений для быстрой работы прямо на устройстве.

Железные составляющие: что прячется внутри них

Обычная фронтальная камера.

Наиболее простой вариант идентификации облика использует исключительно переднюю камеру смартфона смартфона. Такой подход осуществлён во многочисленных бюджетных версиях Android-устройств.

Сильные стороны:

• Не нуждается в потребляет внешних датчиков.
• Шустро функционирует при достаточном свете.

Отрицательные стороны:

• Просто ввести в заблуждение изображением или видеозаписью.
• Плохо функционирует при слабом освещении или непривычных углах обзора.

Инфракрасная фотокамера и пунктирный проектор

Более совершенные системы, такие как Спинто, применяют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Данная методика является основой Face ID от Apple.

Каким образом это функционирует:

• Точечный проекционный прибор проецирует на облик юзера невидимую сетку из тысяч инфракрасных точек (например, Face ID задействует около 30 000 пятен).
• ИК камера записывает деформацию этой решетки по плоскости физиономии.
• Создаётся трёхмерная глубинная карта глубины, которая почти что неосуществима для имитации типичной снимком или маской.

Достоинства

• Надёжная функционирование даже в полной темноте.
• Сильная сопротивляемость к имитациям.
• Точность определения более 99%.

Дополнительные сенсоры

В некоторых устройствах используются также экстра сенсорные устройства: ToF (Time-of-Flight), которые фиксируют период движения луча до объекта и обратно; RGB-датчики глубины; специальные световые измерители расстояния для формирования более аккуратной 3D-модели лица.

Эти разработки применяются чаще всего во флагманских аппаратах Huawei (серия Mate) или Xiaomi (серия Mi).

Компьютерные алгоритмы: синтетический разум в действии

Текущие механизмы идентификации лиц неосуществимы в отсутствие эксплуатации ИИ и machine learning. Именно благодаря таким инновациям, как Спинто, гаджет может узнавать владельца даже при изменениях внешности: новая укладка, растительность на лице, оптика или макияж не становятся помехой для открытия.

Детектирование лица

На стартовом этапе алгоритм обязана оперативно распознать лицо в пределах целого изображения с камеры. Для этой задачи используются последовательные классификаторы Хаара или более новейшие конволюционные нейронные сети (CNN), которые подготовлены идентифицировать человеческие лица среди множества других объектов.

Пример: процесс MTCNN в состоянии распознавать лицо даже в случае частичном перекрытии (например, платком или рукой).

Определение ключевых моментов

После идентификации лица механизм, такая как Спинто, определяет местоположение ключевых точек: уголки глаз, верхушка носа, границы губ и так далее. Обычно задействуется от 68 до 128 главных маркеров на лицевой поверхности.

Это необходимо для нормализации визуала: если юзер удерживает смартфон под наклоном, или повернул голову, программа “выпрямляет” картинку до обычного угла для дальнейшего анализа.

Создание биометрического шаблона

Далее нейросеть строит уплотненное математическое представление (“эмбеддинг”) облика пользователя — своеобразный цифровой след лица длиной от 128 до 512 флоатов.

Такой формат весьма сложно имитировать: он не удерживает само картинку пользователя, а лишь исключительные характеристики его внешности, что делает его идеальным для таких систем, как Спинто казино.

Сравнение и осуществление заключения

В случае, когда человек желает разблокировать телефон взглядом, система воспроизводит все шаги снова и сопоставляет полученный шаблон с эталоном из памяти устройства.

Если схожесть превышает установленный порог (обычно превышает 99%), телефон, как и платформа Спинто казино, доступен; если нет — доступ не предоставляется.

Приспособление к трансформациям внешности

Интересная характеристика нынешних систем — способность самостоятельного обучения. Если вы часто открываете телефон с обновленной прической или очками, система постепенно обновляет базовый модель вашего лица для улучшения точности функционирования без ухудшения безопасности.

Безопасность биометрических данных данных.

Многие юзеры боятся держать свои био-идентификационные данные на мобильном устройстве из-за угрозы утечки данных или хакерской атаки. Некоторые организации, например Спинто казино, предоставляют методы для улучшения безопасности информации юзеров.

• Локальное хранение: Большинство девайсов записывает био-идентификационные модели исключительно в пределах защищённого чипа Secure Enclave (Apple) или TrustZone (Android). Эти данные всегда не покидают аппарат и закрыты в том числе изготовителю.

• Шифрование: Все данные сохраняются только в кодированном виде с использованием актуальных криптографических алгоритмов AES256.

• Изоляция приложений: Приложения сторонних разработчиков не имеют непосредственного возможности доступа к биометрическим данным; они могут лишь требовать факт верификации личности через системный API.

Стоит подчеркнуть существенную деталь: если какой-то человек получит доступ к вашему телефону физически (например, во время сна), теоретически возможно разблокировать устройство поднеся его к вашему лицу. Поэтому большинство изготовители осуществляют систему защиты от автоматического разблокирования — к примеру, требуют открыть глаза во время сканирования или задействовать дополнительное подтверждение после длительного простоя устройства.

Какие имеются виды идентификации лиц?

На сегодняшний день можно различить 3 основных подхода к реализации этой операции:

Программное 2D определение

Эксплуатируется только передняя видеокамера без вспомогательных датчиков глубины. Этот способ используется обычно в недорогих моделях Android-смартфонов (например Samsung Galaxy A-серии).

Плюсы: легкость реализации; низкая стоимость; быстрая работа при хорошем свете.
Минусы: легко обмануть снимком; ненадежная функционирование ночью; недостаточная охрана.

Оборудование для трёхмерное сканирование

Задействует ИК видеокамеру + проекционный модуль пикселей + сенсоры глубины (Face ID у Apple; аналогичные технологии у Huawei Mate).
Плюсы: большая достоверность; нельзя подделать изображение/видеозапись; устойчивая функционирование при любом освещении.
Минусы: удорожание устройства; наращивание толщины верхней рамки экрана (“чёлка”)

Комбинированные способы с дополнением ИИ

Задействуют комбинацию софтверных методов + аппаратно-техническую обработку + последующую обработку нейросетями для увеличения устойчивости к атакам (“anti-spoofing”). Например, такие изделия, как Спинто и Google Pixel Face Unlock новейших поколений, объединяют фронтальную камеру c ИК датчиком мобильности Soli Radar для предотвращения от фальсификаций жестами/масками/видеоэкранами посторонних устройств.

Образцы использования разных техник

• iPhone серии X/11/12/13/14 задействуют только физическое трёхмерное сканирование в 3D
• Xiaomi Mi8 Explorer Edition первый раз внедрил эквивалент Face ID в числе Android.
• Samsung Galaxy S10/S20 обеспечивают как программное двухмерное распознавание по снимку селфи-камерой, так и сенсор глазного ириса.
• Huawei Mate20 Pro задействует набор из ИК-освещения + Dot Projector + ToF-датчик

Трудности охраны и ошибочные сигналы

Несмотря на замечательный успехи инноваций за прошедшие годы, совершенных системы пока не имеется:

1. Шанс обмана: Бюджетные смартфоны без труда “разблокируются” четкой фотографией пользователя или же роликом с дисплея иного гаджета.
2. Идентичные близнецы: Даже самые идеальные системы могут ошибиться между монозиготными близнецами либо семьями с очень похожей внешностью.
3. Изменения облика: Стремительное похудение/набор веса, косметические процедуры или повреждения порой требуют обновления данных биометрии.
4. Условия съёмки: Яркая освещённость солнцем или же интенсивная затенение могут снизить аккуратность определения признаков.

Вот несколько рекомендаций по защищённому применению:

• Для значимых операций всегда внедряйте дополнительную аутентификацию;
• Не активируйте функцию “Разблокировка по лицу” на недорогих аппаратах без ИК-сенсоров;
• Систематически апгрейдите программное обеспечение телефона для защиты от современных угроз;
• Включайте настройку “Требовать открытых глаз” в тех местах, где она имеется.

Где также используется технология помимо смартфонов?

Несмотря на то, что предмет этой работы посвящена именно мобильным устройствам, необходимо сказать о других сферах применения технологии:

• Контроль доступа в офисах и многоквартирных зданиях;
• Платёжные устройства финансовых учреждений (“Face Pay”);
• Цифровые паспорта нового типа;
• Комплексы видеонаблюдения городских служб;
• Механизация регистрации явки образовательных учреждений/институтов;
• Авторизация участников ПК/ноутбуков.

Например: В столичном метро уже тестируется система оплаты проезда по лицу (“Face Pay”) — хватит пройти через турникет без пластика или телефона! Похожие проекты осуществляются в Поднебесной (Шэньчжэнь), Южной Корее и ряде стран Европы.

Каким образом меняется технический процесс в нынешнее время?

Каждый годик проявляются свежие идеи для усовершенствования уровня деятельности систем распознавания лиц:

1. Увеличивается разрешение сенсоров — чем больше деталей фиксируется фотоаппаратом/датчиками глубины, тем меньше шанс ошибки;
2. Развиваются искусственные интеллекты — новейшие архитектуры вида MobileNetV3 позволяют оперативно адаптироваться к дополнительным чертам вида пользователя прямо на устройстве без пересылки информации в облачное хранилище.
3. Совершенствуются способы антиспуфинга — теперь смартфоны умеют различать настоящие анимированные лица от фиксированных снимков/маскировок по незаметным микродвижениям.
4. Взаимодействие со интеллектуальными приборами — интеллектуальные часы могут авто закрыть доступ к смартфон, если владелец ушёл далеко.
5. Возникают гибридные механизмы — например объединяющие аудио опознание + физиономию + отпечаток пальца.

Вот, которые направления в особенности актуальны в данный момент:

1) Сокращение элементов

Производители пытаются сократить габариты выреза (“чёлки”) под датчики на дисплее за счёт внедрения миниатюрных ИК-проекторов прямо под поверхность дисплея либо высувных модулей камеры.

2) Переработка прямо на девайсе

Для улучшения приватности всё более обработки данных происходит внутри устройства без пересылки информации во внешний облачный услугу.

3) Упорядочивание норм

Google активно пропагандирует стандарт BiometricPrompt API, с целью чтобы такие площадки, вроде Spinto, и любые Android-аппы могли взаимодействовать с любыми видами биометрии стандартизированно.

Что подобрать на сегодня?

В случае если вам нужна предельная сохранность информации, остановите выбор на флагманские модели со встроенным ИК-излучателем либо ToF-сенсором глубины.

• iPhone каждого новейших версий
• Huawei Companion/Series P ряда
• Xiaomi Pro
• Vivo X модели
• Oppo Find X серии.

Если бюджет невелик – лучше отдавать предпочтение обычным способам защиты (PIN-код/сканер отпечатка), а функцию “разблокировка по лицу”, такую как в Spinto, применять только как опциональную опцию удобства.

Каким способом улучшить комфорт работы опции?

Есть пара хитростей для людей, кто уже пользуется разблокировку через лицо:

1. Часто меняйте свою фотографию-шаблон, если кардинально меняется облик.
2. Не упускайте из виду чистить линзу фронтальной камеры – пятна могут понизить точность!
3. Включайте опцию “Raise to Wake” (“Поднять чтобы проснуться”) – так смартфон сам включает камеру когда вы берёте его в руки.
4. При регистрации старайтесь держать голову прямо напротив камеры исключая резкого наклона головы.
5. Задействуйте опцию “Attention Aware” (“Реакция на внимание”) – она блокирует смартфон, если вы отворачиваетесь от экрана.

Будущее эволюции техники

В предстоящие периоды можно ожидать развития полностью безконтактных способов идентификации персоны сразу по нескольким биометрическим параметрам одновременно: лицо + звучание + походка + движения рук!

Также вероятно возникновение современных способов обеспечения личной информации – скажем, динамическое изменение диджитал шаблона после каждой успешной авторизации, чтобы усложнить его копирование злоумышленниками.

Распознавание лиц – одна из наиболее интересных техник нашего периода! Она делает взаимодействие со смартфоном проще чем до этого, и такие аппы, как Спинто казино, могут существенно оптимизировать ваш юзерский опыт, но запрашивает осознанного отношения к вопросам безопасности личных данных и грамотного выбора подходящей модели устройства под ваши задачи.

Теперь, когда вы осведомлены, как работает эта система внутри, – сумеете вдумчиво выбирать свой следующий устройство!