Як обдурити приховати системи розпізнавання обличчя? Використовуючи спеціальний софт, можна запросто знайти за фото будь-яку людину, і, мабуть, будь-хто був би радий зробити так, щоб ці сервіси не могли її виявити.
Fawkes – застосунок, який замінює на фото частину пікселів так, що для неозброєного погляду не зміниться зовсім нічого, але системи розпізнавання впадають у ступор.
Ефективність програми перевірили на найрізноманітніших інструментах, зокрема й на алгоритмах від Amazon і Microsoft, не дозволивши їм знайти користувача за фотографією.
P.S Стосується тільки фотографій (якщо заморочитися, можна наповнювати акаунти і профілі “неіснуючими” обличчями), так вас точно не відстежити.
Для реальної підміни обличчя способи придумані у вигляді підсвічування і футболок з голограмою .
Поширені запитання
Я просто замаскував зображення, і коли я завантажив його в (конкретну модель розпізнавання облич), вона все одно мене впізнала! Отже, Fawkes не працює?
Це одне з найпоширеніших непорозумінь щодо того, що робить Fawkes. Fawkes НЕ призначений для захисту конкретних зображень, до яких ви застосовуєте плащ. Зрештою, інструменти розпізнавання облич, які впізнають вас на фотографіях, зроблених третіми особами, не дадуть вам можливості замаскувати їх, перш ніж спробувати визначити вашу особу. Натомість, Fawkes розроблений для того, щоб не дати третій стороні навчити модель розпізнавання вас на основі ваших фотографій.
Якщо у когось вже є модель вашого вигляду, наприклад, у Facebook або Pimeyes, або інша модель, яку ви навчили, використовуючи ваші реальні зображення, вони, швидше за все, впізнають вас на фотографіях, навіть замаскованих. Однак, якщо третя сторона НЕ має моделі розпізнавання обличчя, створеної для розпізнавання вас, маскування вашого фото гарантує, що вони не зможуть побудувати точну модель вашого обличчя за вашими (замаскованими) фотографіями.
Маскування ваших фотографій означає, що той, хто намагатиметься побудувати таку модель, отримає хибне уявлення про те, як виглядає ваше обличчя, і, відповідно, помилково класифікує справжню вашу фотографію як чиюсь іншу.
Щоб належним чином протестувати функціонал, для якого був розроблений Fawkes, вам потрібно: вибрати ML як платформу для сервісу або завантажити існуючий екстрактор ознак для розпізнавання обличчя (якщо ви хочете навчити модель самостійно). Тепер навчіть модель “вас”, використовуючи набір “замаскованих” зображень, доки модель не стане збіжною.
Потім протестуйте цю модель, надавши їй для розпізнавання не замасковану, тобто оригінальну, фотографію вашого обличчя. Якщо ваша модель навчена розпізнавати нетривіальну кількість облич, то вона повинна помилково ідентифікувати вашу справжню фотографію як чиюсь іншу. Тоді ви знатимете, що Fawkes був успішним.
Наскільки ефективний Fawkes проти сторонніх моделей розпізнавання облич, таких як ClearView.ai?
У нас є численні експерименти і результати в технічному документі (посилання вище). Якщо коротко, то ми забезпечуємо надійний захист від несанкціонованих моделей. Наші тести з найсучаснішими моделями розпізнавання облич від Microsoft Azure, Amazon Rekognition та Face++ показують результат на рівні або близько 100%. Рівень захисту залежить від вашої готовності терпіти невеликі зміни у ваших фотографіях.
Будь ласка, пам’ятайте, що це насамперед дослідницька робота, і хоча ми докладаємо всіх зусиль, щоб створити щось корисне для інтернет-користувачів, які піклуються про конфіденційність, можуть виникнути проблеми з конфігурацією, зручністю використання самого інструменту, і він може працювати не з усіма моделями для всіх зображень.
Як це може спрацювати проти DNN? Хіба вони не повинні бути розумними?
Це популярна реакція на Фокса, і вона цілком обґрунтована. Ми часто чуємо в популярній пресі про те, наскільки потужними є DNN і які вражаючі речі вони можуть робити з великими наборами даних, часто виявляючи закономірності там, де людина не в змозі.
Проте ахіллесовою п’ятою для DNN стало явище, яке називається “приклади з протилежними результатами” – невеликі зміни у вхідних даних, які можуть призвести до значних відмінностей у тому, як DNN класифікують вхідні дані. Ці змагальні приклади були визнані з 2014 року (ось одна з перших статей на цю тему), і з тих пір було запропоновано численні способи захисту (і деякі з них – з нашої лабораторії).
Виявляється, їх надзвичайно важко усунути, і в певному сенсі вони є фундаментальним наслідком недосконалої підготовки DNN. На цю тему вже написано кілька докторських дисертацій, але досить сказати, що це фундаментально складна річ, яку важко усунути, і багато хто в дослідницькій галузі сприймає це як неминуче зло для DNN.
Основоположні методи, використані Фоуксом, безпосередньо випливають з тих самих властивостей, які породжують приклади протистояння. Чи можливо, що DNN значно еволюціонують, щоб усунути цю властивість? Це, безумовно, можливо, але ми очікуємо, що це вимагатиме значних змін в архітектурі та побудові DNN. До тих пір Fawkes працює саме через фундаментальні недоліки в тому, як DNN розроблені сьогодні.
Хіба не можна просто застосувати якийсь фільтр, або стиснення, або алгоритм розмиття, або додати трохи шуму до зображення, щоб знищити маскування зображення?
Як би це не було контрінтуїтивно, відповідь на це питання на високому рівні полягає в тому, що не існує простих інструментів для знищення збурень, які утворюють маскування зображень. Щоб зрозуміти це, варто спочатку зрозуміти, що Фокс не використовує пікселі високої інтенсивності і не покладається на яскраві патерни, які спотворюють класифікаційне значення зображення в просторі ознак.
Це точно розрахована комбінація певної кількості пікселів, які нелегко виділити, що призводить до спотворення простору ознак. Якщо вам цікаво побачити деякі деталі, ми рекомендуємо вам ознайомитися з технічним документом (також за посиланням вище). У ньому ми представляємо детальні експериментальні результати, які показують, наскільки стійкий Fawkes до таких речей, як стиснення зображень і спотворення/введення шуму.
Короткий висновок полягає в тому, що зі збільшенням величини цих шумових перешкод на зображенні, захист маскування зображення падає, але повільніше, ніж звичайна точність класифікації зображень. Перекладено: Так, можна додати шум і спотворення на досить високому рівні, щоб спотворити маскування зображень. Але такі спотворення зашкодять нормальній класифікації набагато більше і швидше. До того часу, як спотворення стане достатньо великим, щоб порушити маскування, воно вже порушить нормальну класифікацію зображення і зробить його непридатним для розпізнавання облич.
Чим Fawkes відрізняється від таких проектів, як проект плаща-невидимки в Університеті Меріленда, очолюваний Томом Голдштейном, та інших подібних проектів?
Fawkes працює зовсім інакше, ніж ці попередні проекти, і ми вважаємо, що це перший практичний інструмент, яким може скористатися пересічний інтернет-користувач. Попередні проекти, такі як проект плаща-невидимки, передбачають, що користувачі одягають спеціально надрукований візерунчастий светр, який потім запобігає розпізнаванню власника за допомогою моделей розпізнавання людей. В інших випадках користувача просять носити надрукований плакат або спеціальну шапку з візерунком.
Фундаментальна відмінність полягає в тому, що ці підходи можуть захистити користувача лише тоді, коли він носить светр/шапку/плакат. Навіть якби користувачеві було зручно носити ці незвичні предмети в повсякденному житті, ці механізми є модельно-специфічними, тобто вони спеціально закодовані, щоб запобігти виявленню за однією конкретною моделлю (в більшості випадків це модель YOLO).
Той, хто намагається вас відстежити, може або використовувати іншу модель (їх багато), або просто вибирати користувачів в умовах, коли вони не можуть носити ці помітні аксесуари. На противагу цьому, Fawkes відрізняється тим, що захищає користувачів, орієнтуючись на саму модель. Після того, як ви виводите з ладу модель, яка намагається вас відстежити, захист залишається ввімкненим, незалежно від того, куди ви йдете і в що одягнені, і навіть поширюється на спроби ідентифікувати вас за статичними фотографіями, зробленими, поширеними або надісланими в цифровому форматі.
Як Fawkes може бути корисним, коли в соціальних мережах так багато моїх оригінальних фотографій, які я не можу видалити?
Fawkes працює, навчаючи несанкціоновану модель дізнаватися про групу ваших прихованих зображень у своєму “просторі особливостей”. Якщо ви, як і багато хто з нас, вже маєте значний набір публічних зображень в Інтернеті, то модель на кшталт Clearview.AI, швидше за все, вже завантажила ці зображення і використовувала їх, щоб дізнатися, “як ви виглядаєте” як кластер у своєму “просторі ознак”. Однак ці моделі завжди додають більше навчальних даних, щоб підвищити свою точність і йти в ногу зі змінами у вашій зовнішності з часом.
Чим більше замаскованих зображень ви “випускаєте”, тим більший кластер “замаскованих ознак” вивчає модель. У певний момент, коли кластер ваших замаскованих зображень стане більшим за кластер незамаскованих зображень, модель трекера переключить своє визначення вас на новий замаскований кластер і відкине оригінальні зображення як викиди.
Fawkes спеціально розроблений як відповідь на Clearview.ai?
Декого може здивувати той факт, що ми розпочали проект Fawkes задовго до того, як у лютому 2020 року вийшла стаття в New York Times про Clearview.ai. Наша початкова мета полягала в тому, щоб послужити превентивним заходом для інтернет-користувачів, щоб прищепити собі захист від можливості використання сторонніх, несанкціонованих моделей.
Яким же було наше здивування, коли через 3 місяці роботи над проектом ми дізналися, що такі компанії вже існують і вже побудували потужну модель, навчену на величезних масивах фотографій з Інтернету. Ми переконані, що Clearview.ai – це, швидше за все, лише (досить велика) верхівка айсберга. Fawkes покликаний значно підвищити витрати на створення та підтримку точних моделей для широкомасштабного розпізнавання облич.
Якщо ми зможемо знизити точність цих моделей, щоб зробити їх ненадійними, або змусити власників моделей платити значні витрати на підтримку точності в розрахунку на одну особу, то ми б значною мірою досягли успіху. Наприклад, хтось, уважно вивчаючи великий набір фотографій одного користувача, може виявити, що деякі з них замасковані. Однак ця ж людина, цілком можливо, здатна ідентифікувати цільову особу за такий самий або навіть менший час, використовуючи традиційні засоби (без моделі розпізнавання обличчя).
Чи можна використовувати Fawkes для того, щоб видати себе за іншу людину?
Мета Fawkes – уникнути ідентифікації особою, яка має доступ до несанкціонованої моделі розпізнавання обличчя. Хоча за допомогою Fawkes можна зробити так, щоб ви “виглядали” як хтось інший (наприклад, “особа Х”) в очах моделі розпізнавання, ми б не вважали це атакою з метою видавання себе за іншу особу, оскільки “особа Х”, швидше за все, сама захоче уникнути ідентифікації за допомогою моделі.
Якщо ви замаскували своє зображення перед тим, як надати його в якості навчальних даних легітимній моделі, тренер моделі може просто виявити маскування, попросивши вас надати зображення в реальному часі і порівнявши його з вашими замаскованими зображеннями в просторі ознак. Ключем до виявлення маскування є “істинне” зображення вас, яке може отримати легітимна модель, а неавторизовані моделі – ні.
Як відрізнити фотографії, які були замасковані, від тих, що не були?
Значна частина мети Fawkes полягає в тому, щоб зробити маскування якомога більш тонким і непомітним і мінімізувати вплив на ваші фотографії. Таким чином, навмисно важко відрізнити замасковані зображення від оригіналів. Ми розглядаємо можливість додавання невеликих маркерів до маскування, щоб допомогти користувачам ідентифікувати замасковані фотографії. Більше інформації незабаром.
Як отримати Fawkes і використовувати його для захисту своїх фотографій?
Ми наполегливо працюємо над створенням зручних версій Fawkes для використання на платформах Mac і Windows. У нас є кілька початкових двійкових файлів для основних платформ (див. вище). Fawkes також доступний у вигляді вихідного коду, і ви можете скомпілювати його на власному комп’ютері. Не соромтеся повідомляти про помилки та проблеми на github, але, будь ласка, будьте терплячі, якщо у вас виникнуть проблеми із зручністю використання цих двійкових файлів.
Зауважте, що ми не плануємо випускати мобільні додатки для Fawkes, оскільки це вимагає значних обчислювальних потужностей, що може бути складним завданням для найпотужніших мобільних пристроїв.