Траєкторії дезінформаційних хвиль важко передбачити. Вони особливо активізуються під час виборів, внутрішніх заворушень, збройних конфліктів, пандемій та інших періодів суспільної нестабільності. З розвитком штучного інтелекту (ШІ) дезінформаційні кампанії почали використовувати дипфейки. Їх створюють для маніпуляцій у передвиборні періоди, шахрайства у бізнес-сфері, впливу на суспільну думку і навіть підриву національної безпеки.
Звідки беруться такі дипфейки, що з цим можна зробити і куди від них ховатися? Про це розповідає сайт Жінки у медіа.
Як виникли перші дипфейки?
Дипфейки виникли не для пропаганди. Перші синтетичні медіа були спрямовані на кепкування з політиків (як-от, Борис Джонсон хвалить опонентів на виборах, а покійна Королева Англії жаліється на родину і обовʼязки) і поширення порно.
При цьому, дослідження Sensity AI говорить про те, що станом на 2019 рік 96% усіх дипфейків були порнографічними і не мали згоди зображеної особи. А 99% з них — стосувалися саме жінок. Годі й говорити, що перший дипфейк, виявлений в мережі у 2017 році (створений пересічним користувачем, а не кіноіндустрією чи іншим комерційним проєктом) — теж зображував оголену жінку без її згоди.
Сьогодні порнодипфейки є великою проблемою, адже їх може генерувати будь-хто і для цього слід мати лише декілька зображень особи. До того ж, як пише видання Washington Post з коментарем акторки Скарлетт Йоганссон, навіть зі значними ресурсами дуже важко видалити подібні відео з мережі чи зменшити їх негативний вплив.
Крім кінозірок, від порнодипфейків регулярно страждають активісти, журналісти і політики — чи, точніше сказати, активістки, журналістки і політикині. Й це на додачу до сотень тисяч пересічних користувачок, які щодня потерпають від порнопомсти, погроз, цькувань та булінгу за гендерною ознакою.
Діти більше не дивляться порно (вони його генерують)
У 2023 році Home Security Heroes провели дослідження, схоже за методологією до Sensity AI, щоб зʼясувати динаміку поширення порнографічних дипфейків. Результати виявилися досить невтішними. Серед загальної кількості генерованого контенту порнографія становила вже не 96%, а 98%. І знову ж таки, 99% порнофейків таргетували жінок. При цьому, масштаб виготовлення дипфейків збільшився в геометричній прогресії. Наприклад, в Анголі учень використав фотографій однокласниць для генерування 700 порно-відео. Цей випадок — не перший, про подібні ситуації вже заявляв Комісар з Е-Безпеки у Австралії. Тобто технологія стає доступною навіть дітям і підліткам. Про яку технологію йдеться?
Насправді, термін «порнофейк» говорить сам за себе. Це передбачає згенероване ШІ сексуалізоване зображення або відео, яке поширюють без згоди.
Є декілька способів згенерувати дипфейк. Повне генерування на основі даних про особу, накладання кадрів з інших відео з особою на міміку шахрая (пояснення цієї технології можна знайти тут). Або нарізка реальних відео з людиною, які «склеєні» між собою за допомогою ШІ.
Читайте також: Що не так зі стартапом, який «роздягає» жінок за допомогою штучного інтелекту
Оскільки реальні порно-відео для нарізки навряд вдасться знайти, а звичайні відео осіб, яких таргетують дипфейками є в мережі далеко не завжди, найчастіше шахраї беруть фото людини з вільного доступу і додають їх у систему, що самостійно генерує порнофейки. Доступ до таких технологій знайти не так вже й важко. Останніми роками їх піарять навіть в інстаграмі.
Що цікаво — багато популярних додатків для створення порнофейків працюють лише на жіночих тілах. А звіти від індустрії показують, що топ-5 вебсайтів, які генерують порнографію зосереджені лише на порно з жінками. Утім, розвиток технологій ставить у менш сприятливе становище ЛГБТКІ+ спільноти, людей з інвалідністю, етнічні громади.
Телеграм був прихистком для близько 105,000 інтимних зображень жінок
В середньому створити 60-секундний порнофейк на власному компʼютері кожен може вже сьогодні. Безкоштовно і менш ніж за 25 хвилин. Ці зображення і відео потім розповсюджують будь-яким доступним способом. Тож, проблемою також є простір, у якому поширюються порнофейки.
Раніше більшість такого контенту логічним чином «мешкала» на Pornhub, мігруючи в Reddit лише у 2017 році. А потім — на геймерські ресурси на кшталт Twitch та Discord. Проте з популяризацією інших ресурсів такі відео і зображення почали повзучу окупацію інших платформ.
Наприклад, в нашому контексті (у світлі активних дискусій довкола регулювання соцмереж) цікаво поговорити про телеграм і його роль у хостингу такого контенту. Телеграм, який критикують за відсутність належної модерації, ще у 2020 році був прихистком для близько 105,000 інтимних зображень жінок. І це лише на публічно доступних каналах!
У 2020 році також можна було створити телеграм-бота, який генеруватиме порнофейки. Наразі таких осередків явно більше, а частина з них поширюється на дезінформаційних каналах як частина політичної дискусії. Наприклад, коли йдеться про порнофейки політиків, активістів чи інших публічних осіб.
Варто зауважити, що в цілому більшість модераційних політик платформ є непристосованими до виявлення інтимного контенту з дорослими особами (на відміну від чіткої заборони на дитячу порнографію).
Відсутність реакції від соцмереж змушує жінок замовчувати про випадки таргетування порнофейками
Практики теж не є ідеальними: останні кейси Наглядової ради Мета показують, що компанія вважає допустимою реакцію на генеровані інтимні зображення в межах двох діб. Тобто контент за цей час встигне переглянути і завантажити майже кожен.
Дослідження Amnesty International вказують, що відсутність реакції від платформ змушує жінок замовчувати про випадки таргетування порнофейками.
Іншою проблемою є те, що платформи загалом не дуже зацікавлені у модерації. Адже їхня бізнес-модель часто залежить від кількості кліків і взаємодій з дописами. Порнофейк Тейлор Свіфт, про який ми детально поговоримо трошки згодом, отримав 47,000,000 переглядів та був поширений 24,000 разів лише за 17 годин. І всі ці 17 годин від X (раніше твіттеру) очікували на будь-яку відповідь чи модераційну реакцію. Чи багато це — 17 годин, коли йдеться про настільки інтимні речі?
Порнофейк — це форма насильства
Наразі правозахисники наголошують, що порнофейки проти вразливих груп є однією з форм домагань та психологічного насильства. Тож платформи мають дотримуватися обовʼязків належної обачності та вживати заходів, щоб обмежувати та видаляти такий контент ще до того, як скарги зʼявляються.
Кампанії зі створення і поширення порнофейків часто є організованими. Наприклад, велика мережа інтернет-шахраїв Yahoo Boys, що базується у Нігерії, понад 5 років таргетує жінок по всьому світу, погрожуючи поширенням їх інтимних фото і відео. Частина отримана внаслідок втягування у фейкові онлайн-стосунки і листувань з інтимними фото, за допомогою яких потім вимагають грошей, щоб вони не стали публічними.
Проте більшість матеріалів, якими шантажують своїх жертв Yahoo Boys, згенеровані ШІ. При чому, більшість ще й не дуже якісні. Явно видно ліпсинг (неспівпадіння рухів губ і звуків), різницю освітлення та кольору обличчя і тіла, надзвичайно низьку якість відео тощо. Дипфейки, створені в «домашніх умовах», використовують для втягування у фейкові онлайн-стосунки і подальшого вимагання грошей або шантажу. Переймаючись за власну репутацію, багато жінок і справді надсилають шахраям гроші або виконують їхні вказівки.
В цілому, створення і поширення порнофейків має цілий масив негативних особистих і соціальних наслідків. Наслідків, про які часто не говорять, тому що це «не прийнято», «ганебно» або «не на часі» через інші виклики і проблеми.
Наслідки поширення штучно згенерованих інтимних зображень
- Репутаційні наслідки. Дослідження демонструють, що для жінок в цілому вважається більш ганебним бути зображеною на інтимних фото та відео. Тож, будь-який такий випадок призводить до булінгу, обвинувачень, цькувань, присоромлень і різних форм «соціальних покарань». При цьому, чим гучнішим є кейс і чим більше він отримає висвітлення у медіа – тим гіршими є наслідки для репутації;
- Звільнення і штрафи на роботі. В більшості консервативних держав поширеним наслідком порнофейків є звільнення, пониження у посаді або ж навіть завершення академічної карʼєри в університеті. Іноді на жінок навіть накладають штрафи за участь у зйомці порно (особливо, якщо порнографія в цілому криміналізована в країні);
- Розриви стосунків з родиною та друзями. У випадку, коли не вдається довести, що контент згенерований чи коли суспільний осад сягає критичної точки, порнофейки можуть впливати і на особисте життя. Найбільшою ця проблема є для жінок із дітьми, адже в такому випадку засудження і булінг можуть торкнутися і дітей;
- Суїцид та психічні розлади. Одним з трагічних наслідків поширення порнофейків є спроби суїцидів через суспільні цькування чи втрату роботи, а також різноманітні психічні розлади: страх переслідувань, нервові зриви тощо. При цьому, багато жінок бояться або соромляться звертатися до спеціалістів, які зможуть надати терапевтичну або юридичну допомогу;
- Домагання та обʼєктивізація. Оскільки разом з порнофейками часто поширюють номери телефонів та інші контакти, постраждалих від таких дій починають активно контактувати.. Очевидно, що навіть у випадках, коли поширюють порнографічні зображення чи відео чоловіків, їм навряд будуть дзвонити з пропозиціями сексу.. Тож, порнофейки непропорційно шкодять саме жінкам. Як наслідок, це ще більше укорінює суспільні стереотипи і мізогінні сприйняття жінок у суспільстві, посилюючи гендерну нерівність. Не роблять краще і більшість медіа, які перепоширюють такі історії, збільшуючи кількість переглядів та аудиторії — і, пропорційно, збільшуючи шкоду від порнофейків;
- Довготривале шахрайство. Досить часто зловмисники, які генерують порнофейки тривалий час шантажують жертв, вимагаючи гроші, прийняття певних політичних або бізнес-рішень. Оскільки таргетовані люди бояться суспільних наслідків від поширення такого контенту, вони схильні перераховувати гроші або виконувати вказівки шахраїв. Водночас, їх близькі, родичі і друзі схильні вірити у достовірність контенту, який поширюють зловмисники і, таким чином, вказувати шахраям на ефективність їхніх дій.
Зрештою, суттєвою небезпекою дипфейків є те, що вони підривають презумпцію правдивості візуального контенту, змушуючи людей сумніватися в усьому, що вони бачать і чують.
Наприклад, інтимне відео, яке містить докази корупції чи конфлікту інтересів, можна легко назвати підробкою і дискредитувати журналістів і медіа, які таку інформацію поширили. Про такі випадки неодноразово заявляли міжнародні медіа та правозахисники, як-от Witness. І такі випадки вже траплялися на теренах України, хоч і поза контекстом порнофейків.
Хто не бачив оголеної Тейлор Свіфт?
Проблема порнофейків, хоч і була виявлена у 2017 році, потрапила у центр уваги не після кількох скандалів індивідуального рівня. Масово говорити про інтимний генерований контент почали після гучних політичних скандалів та скарг кінозірок.
Пропонуємо розглянути вибірку найбільш відомих і кричущих кейсів щодо того, як порнофейки впливали на репутацію жінок різних соціальних груп та вікових категорій, а також які суспільні зрушення відбувалося після кожного зі скандалів, повʼязаних з публічними особами.
- Акторки, співачки й інші представниці мистецької сфери. Статистика вказує, що 94% порнофейків створені на основі фото та відео людей з індустрії розваг та мистецтва. Ще у 2018-2019 роках Гал Гадот, Скарлетт Йоганссон та деякі інші акторки скаржилися на засилля генерованого порно з їх обличчями, втім тоді загальна кількість дипфеків не перевалювала за 15,000. За останні пʼять років технологія набула популярності, збільшивши і кількість скандальних випадків їх використання щодо відомих жінок. Наприклад, у 2023 такі атаки здійснювалися на акторок Болівуду. Келлі Джейн Біч – учасниця конкурсу краси на Лав Айленді – наголосила, що вона та багато її колег часто стають жертвами порнофейків і щоб припинити порушення прав слів змінювати законодавство. Втім, найвідомішим випадком сьогодні є скандал довкола порнофейків Тейлор Свіфт, що циркулювали Х (раніше Твіттер) майже добу. Попри величезну кількість скарг від фанатів, які масово повідомляли мережу про атаку на репутацію співачки, платформа не поспішала видалити чи заблокувати контент. Навіть Білий Дім назвав цей випадок лякаючим і тривожним. Яким був наслідок? Х (раніше Твіттер) просто обмежив усі пошукові результати, повʼязані з імʼям Тейлор. Тобто маємо ситуацію, коли жінка стала жертвою порнофейку, а потім ще й втратила на монетизації контенту, підписаного її іменем;
- Політикині. В Ірландії напередодні виборів 2022 року, 24-річна місцева політикиня Кара Хантер отримала 40-секундний ролик, в якому вона була зображена учасницею порно-сцени. Як наслідок, їй почали активно написувати і погрожувати чоловіки з усього світу. Вибори Кара виграла, проте з дуже маленькою перевагою. Опісля цієї історії політикиня заявила, що буде розплачуватися за цю атаку решту свого життя. Італійська премʼєр-міністерка Джорджія Мелоні також нещодавно стала жертвою порнофейків, поширених на американському порно-вебсайті. Політикиня подала до суду з вимогою 100,000 євро компенсації. Австралійська парламентарка Джорджі Порсел показала оброблене за допомогою ШІ зображення, де вона хоч і не виглядає повністю голою, все ж постала «менш одягненою» за оригінальне фото;
- Активістки. Порнофейки використовують проти активісток в абсолютно розмаїтих контекстах. Не оминули історії з порнофейками і відому екоактивістку Ґрету Тунберг, яка на момент появи перших таких відео з її участю їй заледве виповнилося 18 років. Австралійка Ноель Мартін стала активісткою із захисту гендерних прав та протидії поширенню порнофейків після того, як сама стала жертвою таких «розваг» однолітків у 18-річному віці. Наразі Ноель працює адвокаткою і захищає постраждалих від порнофейків, наголошуючи, що ефективно вирішити проблему допоможе лише комплексне законодавче регулювання. Схожою була історія Бріз Лю, яка одного дня отримала дзвінок від друга, що повідомив їй про відео, на яке натрапив в Інтернеті – її порнофейк. Спершу, жінка намагалася покінчити з собою, але опанувала себе і вирішила організувати кампанію проти порнофейків – AlectoAI. У Центральній Азії активісток переслідують після того, як їх таргетують за допомогою порнофейків;
- Журналістки і блогерки. Рана Аййюб, індійська журналістка, яка активно критикувала урядову реакцію на зґвалтування 8-річної дівчинки, стала жертвою порнофейків внаслідок скоординованої онлайн-кампанії. При цьому, індійське суспільство почало всіляко переслідувати і засуджувати Рану за поширені відео, незважаючи на численні спростування. Британська поетка і блогерка Гелен Морт знайшла свої порнофейки у мережі. Зробивши швидкий пошук, вона зрозуміла, що зловмисник взяв її старі фото з видаленого акаунту на Фейсбуці і розмістив на вебсайті для генерування порнографії, закликаючи інших користувачів створювати інтимні фото та відео з Гелен. Ведуча 4 Каналу Кеті Ньюман у Сполученому Королівстві знайшла порнофейк зі своїм обличчям, наголошуючи, що їй було важко дивитися на це з психологічної точки зору. Авторка книжки «Як бути жінкою онлайн« Ніна Янковіч отримала шквал координованої гендерної дезінформації, серед якої вдалося виловити і порнофейки. Таку реакцію повʼязують з її позицією, висловленою у книзі. Втім, це також свідчить і про спробу змусити блогерів і авторів мовчати про критичні питання, яка часто є досить успішною і виливається у «охолоджуючий ефект» для свободи слова;
- Пересічні жінки. Останнім часом побільшало повідомлень про порнофейки, які таргетують підлітків: у Нью-Джерсі, Альмендралехо та Лондоні приблизно в один і той самий час були повідомлення про такий булінг і знущання з неповнолітніх дівчат. У Зімбабве дві жінки повідомили про те, що вони стали жертвами порнопомсти: одна з них внаслідок цього була змушена покинути університет, інша – мала проблеми на роботі. Ба більше, дослідники виявили тривожний тренд на Discord, де пропонують створити «персональні дівчинку» з обличчям будь-якого користувача Інстаграму, що має менш ніж 2,000,000 підписників. Вартість такої послуги становить 65 доларів.
Як помітно з навіть короткого опису кейсів, мотиви та контекст поширення порнофейків різні, втім в усіх ситуаціях шкода для репутації, психічного стану і карʼєри жінок була надзвичайною.
І кожна з цих історій має безліч особистих переживань, спроб прибрати інформацію з Інтернету (не завжди успішних) і тривалої історії реабілітації. При цьому, що важливо, більшість потерпілих від порнофейків говорять про неефективність існуючих механізмів протидії цьому феномену. Натомість, вони пропонують законодавчі зміни, що чітко визначатимуть це явище і встановлять відповідальність як на рівні виробників порнофейків, так і на рівні платформ, через які такий контент поширюється. Тож, давайте зʼясуємо, яке регулювання вже існує і чи потребує воно змін та доповнень.
Прикладів успішного регулювання не існує
Оскільки українському контексту все ж ближче європейське регулювання (особливо з огляду на активні євроінтеграційні процеси), варто подивитися, чи не пропонує ефективних рішень масив законодавства ЄС.
Останні декілька років відзначилися досить активними змінами цифрових регуляцій. Тож відповіді можна знайти у Акті про цифрові послуги (далі – DSA), Акті про ШІ і проєкті Директиви про подолання насилля проти жінок та домашнього насилля. Окремо розглядати Загальний регламент про захист даних (більш відомий як GDPR) особливо не має сенсу. Адже поширення порнофейків в цілому порушує правила обробки персональних даних. Водночас, GDPR не містить ані ефективних механізмів запобігання, ні відповідальності безпосередньо з точки зору захисту гендерних прав.
DSA. Документ напряму не забороняє порнофейків. Утім він обмежує поширення приватних зображень без дозволу особи (як фото, так і відео), а також матеріалів, що можуть становити сексуальне насилля над дітьми. Крім того, пояснювальна записка до DSA вказує, що платформи також мають обмежувати поширення контенту, який заборонений національним законодавством. Тобто заборона на порнофейки на національному рівні, по суті, тригерить, зобовʼязання відповідно до права ЄС. Також DSA встановлює обовʼязки запобігати гендерно зумовленому насиллю онлайн, частиною якого є порнодипфейки, дезінформація і поширення реальних інтимних зображень. Так, платформи мають адаптувати свої бізнес-моделі та системи управління контентом до комплексної протидії подібним порушенням.
Акт про ШІ. Новоприйнятий регулівний акт у сфері ШІ ще в частині визначень окреслює, що таке дипфейки, надає їх характеристики, по факту, говорячи регуляторам і компаніям, який саме контент варто розглядати більш прискіпливо. Так, стаття 3(44)(b)(І) пропонує визначення:
Дипфейк – зображення, аудіо- чи відеоконтент, який створений ШІ або оброблений ним і нагадує існуючих осіб, об’єкти, місця чи інші інституції чи події та може здаватися людині автентичним чи правдивим.
При цьому, замість того, щоб повністю заборонити технологію для створення дипфейків (яка сама по собі не є поганою, адже її використовують в тому числі в кінематографі та інших креативних індустріях), Акт про ШІ пропонує встановити вимогу маркування.
Стаття 52(3) вимагає прозорості від виробників дипфейків щодо того, що зображення є згенерованим ШІ, а не автентичним. І порушення такої вимоги тягнутиме за собою відповідальність. Також Акт про ШІ встановлює мінімальні вимоги до систем ШІ. Тобто розробники муситимуть слідкувати за тим, щоб системи ШІ самі собою не порушували права або не уможливлювали такі порушення. Деякі правозахисники критикують це положення і закликають національні уряди визнати додатки, що генерують порнофейки забороненими незалежно від варіантів їх використання.
Директива про подолання насилля проти жінок та домашнього насилля. Про цей документ ми детально говорили в попередніх аналітиках (як і про потребу його прийняття найближчим часом). Проєкт, поміж іншого, пропонує зобовʼязати держави розробити законодавство, що забороняє умисне створення і поширення інформації з фото- чи відео-контентом, що створює враження, ніби людина бере участь у діях сексуального характеру. Створення і поширення такого контенту без дозволу особи має призводити до юридичної відповідальності. Мотивація цієї норми першочергово спрямована на запобігання порнопомсті. Втім формулювання уможливлює притягнення до відповідальності і за політичні атаки.
Національні уряди теж не забарилися з регулюванням. Кенія, Нова Зеландія, Південна Африка, Нігерія, деякі штати США, Індія, Австралія, Південна Корея, Сполучене Королівство та інші країни, які повсякчас майорять на перших шпальтах щодо «бумів» порнофейків вже встигли розробити національні закони, що криміналізують або просто забороняють порнофейки.
На жаль, не всі закони ідеальні. Деякі (як, до прикладу, федеральне американське регулювання) пропонують орієнтуватися на наявність умислу особи, яка поширювала порнофейки. А не на відсутність дозволу того, чиє зображення використали. Це значно знижує захист і фактично унеможливлює адекватне притягнення до відповідальності. Багато активістів критикують такі підходи та адвокують за належне формулювання заборонних норм.
Пігулка від порнофейків: український контекст
З огляду на підвищену увагу до України, світові тренди мігрують в наш інфопростір з блискавичною швидкістю. Тож не за горами дні, коли українські політикині, журналістки та активістки теж масово ставатимуть жертвами агресивних кампаній чорного піару, одним з інструментів якого будуть порнофейки. І це не кажучи про те, що пересічні українки вже потерпають від генеративного ШІ, що використовується для дурних розіграшів, шантажу чи шахрайства.
Що робити державі та іншим стейкхолдерам в обставинах, коли технології розвиваються швидше, ніж можна собі уявити?
- Створити окрему статтю в Кримінальному кодексі України, що прямо забороняє поширення генерованих інтимних зображень чи відео без згоди особи, а розробку додатків для створення такого контенту зробити кваліфікованим складом злочину з вищою мірою покарання. Аналогічно кваліфікований склад має передбачати виготовлення чи поширення такого контенту, що призвело до тяжких наслідків;
- Враховувати питання поширення порнофейків при регулюванні платформ і чіткіше виписати положення по протидії гендерно зумовленому насиллю. Включивши до його форм поширення генерованих інтимних зображень чи відео без згоди особи;
- Припинити перепоширювати такий контент в медіа без згоди фігурантів цих історій, особливо коли відомо що зображення чи відео є згенерованим ШІ і журналісти просто ілюструють матеріал таким контентом;
- Платформи мають адаптувати свої практики та політики до того, щоб подібний контент не поширювався далі, а не просто реагувати ситуативно;
- Розробникам варто звернути увагу на потребу у розробці засобів, які допомагають виявляти і вчасно позбуватися подібного контенту в інтернеті. А великі корпорації на кшталт Google, Meta, Microsoft мають подумати над імплементацією таких інструментів. Аби підвищити ефективність управління контентом;
- Громадянське суспільство, що працює з темами гендерного насилля, має звернути увагу на потребу розробити гайдлайни для осіб, які стали потерпілими порнофейків, які міститимуть в тому числі посилання гарячі лінії підтримки та юридичної допомоги;
- Громадянське суспільство та представники академічної спільноти мають здійснювати дослідження щодо потреб спільнот, вразливих до порнофейків. А також прогалин у державному регулюванні та політиках платформ.
