Еще недавно маски были атрибутом медсестер и жителей загрязненных промышленностью городов Китая. Но теперь их носят по всему миру. Как на это реагируют системы видеонаблюдения и идентификации? Способны ли они понять, кто скрывается под маской?
Для начала небольшой эксперимент. Я проведу его на себе, а повторить его могут другие владельцы смартфонов.
На первой фотографии в режиме портрета я без маски, и камеры смартфона распознают, что перед ними лицо. На второй фотографии, где я в маске, телефон пишет, что лицо в кадре найти не смог.
То есть телефон не узнает, что перед ним лицо. А что же все эти камеры видеонаблюдения и системы распознавания лиц, например, в метро? Узнают ли человека они?
Как работают системы распознавания лиц
Узнавание лица проходит в три этапа.
На первом этапе искусственный интеллект определяет, что в кадре лицо. Именно на этом этапе работают все приемы, работающие против распознавания лиц, о которых я расскажу в статье.
На втором – трансформирует картинку лица в набор данных, содержащих информацию о человеческом лице. Чтобы «узнать» человека, алгоритм анализирует расстояния между основными точками лица, биометрическими маркерами: дистанцию между глазами, подбородком и лбом, позицию основных точек лица. Например, платформа Neuroio Security, выпускник «Городского цифрового акселератора», распознает до 1500 таких точек на лице. Бюджетные камеры, например, смартфонов, распознают до 300 точек.
На третьем этапе система ищет в базе похожие лица. При поиске человека по изображениям, используя в качестве образца, например, его свежую паспортную фотографию, точность где-то 99,97%. Но это показатели для идеальных условий и снимков отличного качества. Аккуратность же при поиске по данным видео с камер видеонаблюдения – от 36 вплоть до 99%. В зависимости от места расположения камеры, ее запыленности, освещения, того, в каком ракурсе мимо нее проходил человек.
В метро, например, почти идеальные условия: одинаковое освещение, низкий уровень запыленности, нет помех от погоды, камеры можно установить в удобном для распознавания лиц положении. Кстати, не все камеры видеонаблюдения «заточены» именно под распознавание лиц. Некоторые расположены так, чтобы обеспечивать контроль за ситуацией в общем, они установлены высоко, лица в кадр попадают редко.
Лицо за маской
Вопрос стремительного сокрытия лиц за масками уже успел взволновать мир программного обеспечения.
«Кризис – двигатель науки. В доковидные времена алгоритмы справлялись с определением людей в масках с различной точностью от 5 до 50%. Не было спроса на мониторинг такого рода, следовательно, не было и предложения. Сегодняшние прорывные разработки показали, что круглые маски N95 позволяют определять человека лучше, чем маски стандартной формы, охватывающие лицо от уха до уха. Маски черного цвета сбивают точность алгоритмов больше, чем светло-голубые. То есть в масках черного цвета процент определяемости значительно ниже. Вот самое свежее исследование Национального института стандартов и технологий США, которое это подтверждает».
Участие в этом тестировании для компаний стоит минимум 15 тысяч долларов. Поэтому, как признаются участники рынка, не все приняли в нем участие.
Вывод, сделанный в исследовании, – чем выше маска закрывает нос, тем хуже распознается лицо, подтверждают опрошенные эксперты:
«Обычная медицинская маска не помеха для детекции лица человека для большинства качественных систем идентификации лиц. Мы тестировали свою систему вот на этой картинке (это костюм противочумной защиты), а она справилась с нахождением лица на ней»
Автор: А.Мясников — Своя работа, CC BY-SA 3.0,
https://commons.wikimedia.org/w/index.php?curid=3957649
С идентификацией, уточняет Иван, вопрос интереснее, и тут на первый план выходит качество работы системы распознавания лиц – маска уменьшает размер изображения лица, пригодный для идентификации, за счет чего снижается степень уверенности системы в качестве узнавания. На примере работы решений компании ORBL при идентификации нежелательных посетителей в розничных точках торговли результаты следующие:
- если маска висит под подбородком, то это никак не влияет на качество идентификации;
- если маска надета, но не прикрыт нос, то точность может снизиться практически со 100 до 84-90%, и это очень хороший показатель;
- если маска надета корректно, то точность может снизиться и до 60%.
Некоторые компании делают маркетинговый акцент на способность их разработок определить человека в маске. Например, FaceWatch (Великобритания) предлагает решение для ритейла, которое распознает лицо посетителя в маске, делает сверку с базой правонарушителей и, если совпадение обнаруживается, дает сигнал охране.
Опрошенные для этой статьи эксперты рассказали, что в России такие решения также действуют во многих торгово-развлекательных комплексах, они работают с базой данных МВД и дают сигнал охране, если вошедший в этой базе есть. Или сразу в ситуационный центр полиции, если человек находится в федеральном розыске. С распознаванием лица под маской они справляются.
«Любопытно, что две ведущие компании, использующие искусственный интеллект, Tech5 (Швейцария) и TrueFace (США), улучшили технологии за последние полгода, – рассказывает Ларри Полтавцев. – Их алгоритмы научились определять людей по чертам лица вокруг глаз. Недавние тесты на людях с маской и без показывают точность 98% и 90% – это высокий практический результат. Эти открытия произошли уже в ковидную эпоху. То есть COVID-19 стал драйвером исследований и разработок в этой области».
Цена ошибки
Большую сложность испытывают системы распознавания лиц при идентификации детей. Human Rights Watch подсчитала, что алгоритмы, например, NtechLab ложно идентифицируют ребенка в возрасте от 10 до 16 лет в шесть раз чаще, чем взрослого в возрасте от 24 до 40 лет. Лица детей быстро меняются, а фотографии, сделанные, например, на загранпаспорт, делаются не чаще, чем раз в пять лет.
Разные платформы неодинаково справляются с критерием возраста. Чем старее «контрольная» фотография, тем сложнее по ней идентифицировать человека сегодня. Некоторые платформы не справляются с поиском человека по паспортной фотографии, сделанной 10 лет назад.
Ошибки в распознавании лиц приводят к неприятным ситуациям, когда ни в чем не повинный человек по вине алгоритма проводит время за решеткой, пока ситуация проясняется. Такой случай произошел в США, в штате Мичиган: мужчина был обвинен в ограблении бутика, потому что его «узнала» система распознавания лиц. Как показало время, система ошиблась.
Лидеры в мире видеонаблюдения
Больше всего в Европе камер видеонаблюдения в Великобритании. Здесь они начали устанавливаться с 1960 года, а в 90-х постепенно заменялись со старых аналоговых на цифровые. Поиск по данным аналоговых камер состоит в просмотре снятого видео живым человеком. Большая часть камер не принадлежит государству, их содержат частные организации и отдельные граждане, которые, впрочем, делятся данными с полицией.
Сегодня в Великобритании от 4 до 6 миллионов камер видеонаблюдения, из них 627 тысяч приходится на Лондон и окрестности, то есть одна камера на 14 жителей. По данным полиции, житель города попадает в поле зрения камер не реже 70 раз за день.
Кстати, именно благодаря камерам удалось проследить весь путь Александра Петрова и Руслана Боширова от Гатвика до Солсбери и обратно. Одиннадцать тысяч часов, или 485 дней, или 15 месяцев видеозаписей проанализировали сотрудники Скотленд-Ярда. Так долго именно потому, что часть камер – аналоговые, их записи можно только физически отсмотреть, и сделать это должен живой человек. (Речь идет об отравлении в Великобритании экс-полковника ГРУ Сергея Скрипаля веществом «Новичок», в котором, по версии следствия, замешаны представители российских спецслужб, приехавшие в страну под именем Петрова и Боширова. – Прим. ред.)
Однако за годы использования видеонаблюдения в стране накопилась неплохая статистика использования камер для раскрытия преступлений: они помогают раскрыть всего 3% преступлений. Так что пока дебаты о необходимости продолжения инвестиций в развитие CCTV далеки от завершения.
В России на первом месте по количеству видеокамер в городе находится Москва, она заметно проигрывает Лондону – всего одна камера на 100 жителей.
Доступ к московским записям камер видеонаблюдения предлагают купить за 30 тысяч рублей на «черном рынке». Причем можно получить доступ к камере онлайн, а можно получить результаты поиска по фотографии. Качество услуг такого рода оставляет желать лучшего: как видно из статьи, на предоставленных снимках были другие люди, да еще и разного пола. И это – без масок. Зато с данными о том, где и в какое время были сделаны снимки.
Кстати, камеры московского метрополитена решают, среди прочих, интересную задачу выявления тех, кто пользуется чужими льготными проездными. Для выпуска таких проездных необходимо сфотографироваться, эта фотография есть в базе. Если проездной был использован на станции, а в объектив системы видеонаблюдения льготник не попал, проездной блокируется.
Несомненным лидером по количеству камер в абсолютных и в относительных цифрах является Китай: в Пекине более миллиона камер. Вообще, в ТОП-20 городов с самым большим количеством камер на душу населения единственными городом вне Китая являются Лондон и Хайдарабад (Индия). В ТОП-50 уже можно найти Москву.
Особенности систем видеонаблюдения Китая – современность и централизация. Правда, им тоже приходится «работать над ошибками»: например, в 2018 году в городе Нинбо Дун Минчжу, президент компании по производству кондиционеров Gree Electric Appliances Inc была оштрафована за то, что перебегала дорогу на красный сигнал светофора. Информация о правонарушении с фотографией г-жи Дун даже появилась на «доске позора» – электронном экране, где высвечиваются для публичного порицания данные о правонарушителях. Однако сама предпринимательница в это время находилась в другом месте, а камеры сработали на ее изображение в рекламе, размещенной на автобусе:
Теперь при идентификации по видео добавился критерий «liveness» («живость»), который позволяет отличить живого человека от картинки.
Поэтому лидер в создании систем распознавания лиц сейчас Китай. В конкурсе, проведенном Microsoft, победила компания из Китая OrionStar, лучше всего распознав лица миллиона знаменитостей в предоставленной базе фотографий.
В мире животных
Технологии анализа видео, распознавания лиц и идентификации по видео можно применять не только к людям.
В Китае такие же технологии применяются для идентификации, например, свиней. Технологические гиганты, Alibaba, JD и другие активно предлагают фермерам новейшие технологии для идентификации свиней, анализа их активности, улучшения самочувствия и ранней диагностики опасных заболеваний, которые могут навредить животному и заразить его соседей.
Крупный рогатый скот, например, коровы, а также овцы тоже нуждаются в распознавании «лиц»: страховые агенты из Китая жалуются на фермеров, которые дважды предъявляют одну и ту же погибшую корову, чтобы получить двойные выплаты. Безусловная идентификация помогла бы предотвратить такой способ мошенничества. Впрочем, как и в случае со свиньями, на первом месте все-таки необходимость отследить проблемы со здоровьем как можно раньше.
В России также разрабатывают технологии анализа поведения животных на видео. Причем спектр разработок в этой области гораздо шире сельскохозяйственного применения.
Человек лучше изучен с точки зрения паттернов поведения и удобнее для наблюдения – у животных шерсть, например, может помешать анализу видео. Однако сейчас есть запрос на изучение именно животных, а компетентных специалистов в этой области не так много, как специалистов по людям.
«В прошлом году, – продолжает Дмитрий, – мы совместно с университетом Хайфы (Израиль) получили грант Российского фонда фундаментальных исследований и Министерства науки и технологий Израиля «Видеомониторинг параметров здоровья в области ветеринарии», в рамках которого мы как раз анализируем поведение животных по видео. Одна из наших разработок, например, решает задачу определения пола черепахи удаленно, по движениям лап. Это важная для экологов задача. Так как в течение первых 8 лет жизни визуально самца от самки не отличить.
Также мы сейчас разрабатываем систему определения пола на ранних этапах у некоторых пород кур. Это уже важная задача для сельского хозяйства.
«Человеческие» алгоритмы не только служат задачам идентификации человека, а могут решать более сложные задачи безопасности. Они могут, например, считывать эмоции, пульс, частоту сердечных сокращений. Это позволяет создавать решения, которые определяют, что операторы сложных комплексов или систем управления, например, авиадиспетчеры, устали или плохо себя чувствуют, и их необходимо сменить».
А как еще можно идентифицировать человека?
Иван Жиров, ORBL, объясняет, что при идентификации нужно отличать кооперативное и некооперативное поведение.
Кооперативное поведение – человек добровольно осуществляет все необходимые действия для его идентификации: позволяет отсканировать сетчатку, прикладывает пальцы к сканеру или дает определять себя по рисунку вен, который уникален у каждого человека. Это позволяет организовать процесс идентификации так, чтобы получить высокий по качеству результат.
При некооперативном поведении (человек не предпринимает добровольных усилий для своей идентификации) использование нескольких систем идентификации, например, лицо и голос, или лицо и походка, может помочь вынести более точное решение «он/не он». Если, например, при идентификации по лицу результат недостаточно точный, то можно использовать результат идентификации по другому фактору. Если он высокий – скорее это «он». Но нужно понимать, для какой задачи происходит идентификация: критически важная, например, не допустить человека из списка «в розыске» на массовое мероприятие, или речь идет о маркетинговых акциях. Точность идентификации, в конечном счете, стоит денег.
Походка
Эта технология начала активно разрабатываться в Китае (где, кстати, жители промышленных городов часто ходят в масках). Походка также уникальна, как лицо, зато распознается на гораздо большем расстоянии:
С расстояния 50 метров можно идентифицировать человека, даже если его лицо направлено в противоположную от камеры сторону. По крайней мере, так описывает возможности своего ПО китайская компания Watrix.
Правда, камешек в ботинке пока что справляется с предотвращением идентификации таким способом.
Мобильный телефон
Это устройство довольно точно указывает, где находится его владелец. Даже если оставить только прорези для глаз, нахождение мобильника, зарегистрированного на Иванова Ивана Ивановича, в определенной соте, может свидетельствовать, что Иванов в ней находился. И не только сота, многие приложения сохраняют данные о перемещении смартфона в пространстве. Этот способ применяется для раскрытия преступлений, но злоумышленники тоже в курсе, как он работает, и при походе «на дело» телефон отключают.
Во время протестов в Беларуси многим гражданам страны приходили СМС-оповещения со следующим текстом: «Ваши действия зафиксированы посредством фотовидеозаписи», «Персонально предупреждаем вас о недопустимости участия в несанкционированных массовых мероприятиях». Многие пользователи соцсетей отметили, что попасть на митинги они не могли, так как находились в другой стране. А в некоторых случаях телефоны были зарегистрированы на родителей, которые в митингах не участвовали. К тому же такие сообщения получили и жители близлежащих домов, так что, скорее всего, рассылка как раз была сделана с использованием данных локации мобильных телефонов.
Еще один способ, который применяется на несанкционированных митингах и акциях протеста, – ведение видеозаписи в процессе + фотографирование задержанных перед посадкой в автозак. Потом видеозаписи просматриваются прицельно для поиска задержанных. Вероятно, скоро этот процесс будет автоматизирован.
Кстати, те, кто пользуется картами Google, могут проверить свою историю перемещений. У осторожных людей она обычно отключена.
Как люди защищают себя от пристального взгляда видеокамеры?
Кроме медицинской маски, есть еще несколько приемов разной степени социальной приемлемости.
Макияж
Нет, просто сильно накраситься тут будет недостаточно. Чтобы спрятаться от распознавания, нужно нанести весьма фантазийный макияж, да еще и добавить стразы:
CV Dazzle служит не для того, чтобы помешать софту узнать, кому принадлежит лицо, а чтобы вообще помешать ПО найти на изображении лицо. Эта технология работает против одного определенного алгоритма обнаружения лица: метода Виолы – Джонса. Но таких алгоритмов много, и против других CV Dazzle не работает. Зато в Лондоне есть Dazzle Club, движение, чьи участники регулярно устраивают марши протеста против систем видеонаблюдения, разгуливая по городу в экстравагантном макияже.
Еще один вариант макияжа от визажиста Фары Хомиди:
Она сделала макияж по методу, разработанному Григорием Бакуновым из «Яндекса» в 2017 году.
Российская художница Катрин Ненашева проводила акцию «СЛЕДУЙ», направленную против распознавания лиц. Для этого на лицо был нанесен специальный макияж:
Пока в этом направлении больше самовыражения и протеста, чем реальной работы против систем видеонаблюдения. Опять же в метро человек с таким макияжем на лице привлечет внимание гораздо раньше, чем что-то заподозрят камеры.
Для маскировки лица также могут применяться очки с LED-лампочками, специальный проектор, который, проецирует на лицо изображение, искажает его контуры и сбивает работу систем распознавания лиц; прозрачные пластиковые маски, который искажают черты лица. Однако хотя это с большой вероятностью может запутать системы видеонаблюдения, вряд ли оставит равнодушным окружающих. К тому же эксперты говорят, что крупные черные очки также могут помешать идентификации, а они все же более привычно смотрятся на лице.
Интересное направление защиты от распознавания лиц – специальные принты для футболок, которые наносятся на одежду и сбивают работу систем видеонаблюдения. По крайней мере, человек с непонятной абстракцией на футболке привлечет меньше внимания, чем носитель экстравагантного мейка. Однако для поиска лиц используются разные алгоритмы, разработанные рисунки работают для YOLOv2 и Faster R-CNN, для других – никаких гарантий нет.
Вывод
Системы распознавания лиц и идентификации преодолели сложности с распознаванием людей в масках и, кажется, стали даже лучше и точнее. Однако полагаться на них на 100% пока нельзя, ошибки случаются, иногда весьма курьезные. Например, зрители трансляции футбольного матча, проходившего в Шотландии между командами «Инвернесс Каледониан Тисл» и «Эр Юнайтед», большую часть времени созерцали гладко выбритую голову бокового судьи вместо мяча. Искусственный интеллект, «наводящий» камеру на мяч, немножко перепутал.
Уязвимость систем, которые позволяют посторонним получать доступ к камерам видеонаблюдения, к данным о перемещении других людей, внушает опасения. «Роскомосвобода» требует приостановить работу таких систем в Москве как минимум до тех пор, пока доступ к ним не станет защищен от вторжения и не будет использоваться отдельными сотрудниками в корыстных целях. Петицию можно подписать на сайте change.org. Осталось собрать совсем немного голосов!
