Проблема с дипфейком Тейлор Свифт могла быть легко избежана.
Когда ты сумел разозлить Белый дом, личность года по версии TIME и самое преданное фанатское сообщество в поп-культуре, ты понимаешь, что натворил делов.
Заголовок: Как неудача модерации контента на платформе X выявляет широкие проблемы в социальных сетях
Вы знаете, что что-то пошло не так, когда вы одновременно разозлили Белый Дом, Человека года по версии TIME и самую яростную фанатскую базу в поп-культуре. Это случилось на прошлой неделе с X, платформой, принадлежащей Элону Маску (ранее известной как Twitter), когда распространились вирусные порнографические deepfake-изображения Тейлор Свифт, созданные с помощью искусственного интеллекта.
Один из самых широко распространенных постов с непрошенными эксплицитными deepfake-изображениями был просмотрен более 45 миллионов раз с сотнями тысяч лайков. Это даже не учитывает все аккаунты, которые повторно опубликовывали изображения в отдельных постах – когда изображение было распространено в таком масштабе, его практически невозможно удалить.
Происшествие с Тейлор Свифт: неудача модерации
X не обладает достаточной инфраструктурой, чтобы быстро и масштабно идентифицировать содержимое, содержащее оскорбления. Даже во времена Twitter эта проблема была трудна для решения, но она стала намного хуже с тех пор, как Маск урезал на Twitter множество сотрудников, включая большинство команд доверия и безопасности. Поэтому многочисленная и преданная фан-база Тейлор Свифт решила взять ситуацию в свои руки и затопить результаты поиска запросами вроде “тейлор свифт искусственный интеллект” и “тейлор свифт deepfake”, чтобы сделать это сложнее для пользователей найти оскорбительные изображения. Когда пресс-секретарь Белого дома призвал Конгресс что-то сделать, X просто заблокировал поиск по запросу “тейлор свифт” на несколько дней. При поиске имени музыканта пользователи видели уведомление о возникшей ошибке.
Эта неудача модерации контента стала национальной новостью, потому что Тейлор Свифт – это Тейлор Свифт. Но если социальные платформы не могут защитить одну из самых известных женщин в мире, кого они могут защитить?
- Массовые увольнения признак времени в технологической индустрии
- Главные исполнительные директоры против Конгресса противостояние дл...
- 🎧 Новое обновление прошивки от Apple для AirPods Max Что скрывается...
💬 Вопрос-ответ читателей:
В: Почему X не смог удалить оскорбительные deepfake-изображения Тейлор Свифт? О: У X отсутствует инфраструктура для быстрой и эффективной идентификации и удаления оскорбительного контента в большом масштабе. Эта проблема обострилась после того, как Элон Маск взял под свой контроль Twitter и урезал значительную часть его сотрудников, в том числе команды доверия и безопасности.
В: Как фанаты Тейлор Свифт отреагировали на deepfake-изображения? О: Преданные фанаты Тейлор Свифт приняли инициативу в свои руки и затопили результаты поиска запросами, связанными с “тейлор свифт искусственный интеллект” и “тейлор свифт deepfake”. Их целью было усложнить пользователям поиск оскорбительных изображений.
Неудача модерации контента
“Если с вами происходит то же самое, что произошло с Тейлор Свифт, как это происходит с таким многими людьми, вам, вероятно, не будет такой же поддержки из-за влияния, что означает, что у вас не будет доступа к этим действительно важным сообществам поддержки”, говорит доктор Каролина Аре, сотрудник Центра цифровых граждан Нортумбрийского университета в Великобритании. “И именно к этим сообществам поддержки в подобных ситуациях приходится обращаться большинству пользователей, что действительно показывает неудачу модерации контента”.
Блокировка поискового термина “тейлор свифт” – это похоже на приклеивание кусочка скотча к разорванной трубе. Существуют множество очевидных способов обойти это, например, как пользователи TikTok ищут “seggs” вместо sex. Блокировка поиска – это что-то, что X может предпринять, чтобы казаться так, будто они что-то делают, но это не останавливает людей от поиска “t swift” вместо этого. Майк Мэсник, основатель Copia Institute и Techdirt, назвал эту попытку “тяжеловесным вариантом доверия и безопасности”.
💬 Вопрос-ответ читателей:
В: Является ли блокировка поискового термина “тейлор свифт” эффективным решением для предотвращения распространения оскорбительного контента? О: Блокировка конкретного поискового термина – это только поверхностная мера. Пользователи могут легко найти обходные пути, например, искать варианты вроде “t swift”. Этот подход не эффективно решает корневую проблему неудач модерации контента.
В: Почему системы модерации контента часто не могут эффективно реагировать в кризисных ситуациях? О: Системы модерации контента часто не могут эффективно реагировать в кризисных ситуациях, потому что они повторяют офлайновые системы насилия и патриархата. Эти системы часто не имеют необходимой отзывчивости, чтобы решать проблемы пользователей и эффективно сообщать о проблемах.
Пересмотр модерации контента
Итак, что же X могло сделать, чтобы предотвратить фиаско с Taylor Swift?
Are задает эти вопросы в рамках своего исследования и предлагает, что социальные платформы нуждаются в полной реконструкции своего подхода к модерации контента. Недавно она провела ряд круглых столов с 45 интернет-пользователями со всего мира, которые сталкиваются с цензурой и злоупотреблениями, чтобы представить рекомендации платформам о том, как добиться изменений.
Одно из рекомендаций состоит в том, чтобы социальные медиа-платформы были более прозрачными с отдельными пользователями относительно принятых решений относительно их аккаунтов или жалоб на другие аккаунты.
“У вас нет доступа к делу, даже если платформы имеют доступ к этим материалам – они просто не хотят делать его общедоступным”, – сказала Are. “Я думаю, когда речь идет об оскорблениях, люди нуждаются в более персонализированном, контекстном и быстром ответе, который включает, если не личную помощь, то как минимум прямое общение.”
X объявил на этой неделе, что намерен нанять 100 модераторов контента для работы в новом центре “Доверие и безопасность” в Остине, Техасе. Однако под руководством Маска платформа не ставит устойчивый прецедент в защите пользователей от преследования. Также может быть сложно воспринимать Маска всерьез, так как у магната давняя тенденция не выполнения своих обещаний. Когда он впервые купил Twitter, Маск заявил, что создаст совет по модерации контента, прежде чем принимать серьезные решения. Это не произошло.
💬 Вопросы и ответы читателей:
В: Какие рекомендации для социальных медиа-платформ по улучшению модерации контента? О: Одно из рекомендаций состоит в том, чтобы платформы были более прозрачными с отдельными пользователями, предоставляя информацию о принятых решениях, касающихся их аккаунтов или жалоб. Эта прозрачность включает обмен делами, чтобы обеспечить персонализированный, контекстный и оперативный ответ на потребности пользователей.
В: Делает ли X какие-либо успехи в улучшении модерации контента? О: X недавно объявило о планах нанять 100 модераторов контента для нового центра “Доверие и безопасность” в Остине, Техасе. Однако, учитывая рекорд платформы под руководством Маска, остаются сомнения в ее приверженности защите уязвимых пользователей.
Роль компаний по искусственному интеллекту
В случае создания AI-генерируемых глубоких фейков, ответственность не лежит исключительно на плечах социальных платформ. Ответственность также лежит на компаниях, создающих продукты искусственного интеллекта для потребителей.
Согласно расследованию 404 Media, оскорбительные изображения Swift происходят из группы Telegram, посвященной созданию неконсенсуальных явностей в стиле глубоких фейков. Пользователи в этой группе часто используют Microsoft Designer, который использует DALL-E 3 от Open AI для генерации изображений на основе введенных подсказок. В результате уязвимости в системе Microsoft Designer, пользователи могли генерировать изображения знаменитостей, написав подсказки вроде “тейлор’певица’ свифт” или “дженнифер ‘актриса’ анистон”.
Шейн Джонс, главный инженер-программист в компании Microsoft, написал письмо генеральному прокурору штата Вашингтон, в котором сообщил о находке уязвимостей в DALL-E 3 в декабре, которые позволяли “обойти некоторые ограждения, предотвращающие создание и распространение вредоносных изображений”.
Джонс сообщил о проблемах Microsoft и OpenAI, но через две недели он не получил никаких указаний на то, что проблемы были устранены. Поэтому он опубликовал открытое письмо на LinkedIn, в котором призвал OpenAI приостановить доступность DALL-E 3. Джонс сообщил Microsoft о своем письме, но его попросили удалить его.
“Мы должны требовать от компаний ответственности за безопасность своих продуктов и обязательства раскрыть известные риски для общественности”, – написал Джонс в своем письме генеральному прокурору штата. “Обеспокоенные сотрудники, как и я, не должны быть запуганы, чтобы молчать”.
💬 Вопросы и ответы читателей:
В: Кто несет ответственность за создание AI-генерируемых глубоких фейков? О: Ответственность лежит не только на социальных платформах, но и на компаниях, создающих продукты искусственного интеллекта для потребителей. В данном случае оскорбительные изображения Taylor Swift происходят из группы Telegram, которая использует Microsoft Designer и DALL-E 3 от Open AI для генерации глубоких фейков.
В: Как Microsoft отреагировал на обнаруженные уязвимости в DALL-E 3? О: Шейн Джонс, главный инженер-программист в компании Microsoft, сообщил Microsoft и OpenAI о наличии уязвимостей в DALL-E 3. Однако он не получил никаких указаний на то, что проблемы были устранены, поэтому он опубликовал открытое письмо, в котором призвал OpenAI приостановить доступность DALL-E 3. Вскоре после этого его попросили удалить письмо.
Ненадежность платформ
Поскольку самые влиятельные компании мира делают ставку на искусственный интеллект, платформы должны принять проактивный подход к регулированию оскорбительного контента. Однако, даже на эпохе, когда создание фейков с участием знаменитостей было не так просто, нарушительное поведение легко уклонялось от модерации.
«Это действительно показывает, что платформы ненадежны», – сказал Эр. – «Маргинализированные сообщества должны больше доверять своим подписчикам и другим пользователям, чем людям, которые технически отвечают за нашу безопасность в онлайне».
В заключение, инцидент с дипфейком Тейлор Свифт подчеркивает насущную необходимость для социальных платформ и компаний по искусственному интеллекту решать проблемы в модерации контента. Поверхностный запрет поисковых запросов недостаточен для защиты пользователей от оскорбительного контента. Необходима прозрачность, улучшенные ответы и большая ответственность, чтобы обеспечить безопасность онлайн-сообщества. В нашем движении в будущее с искусственным интеллектом, крайне важно придать приоритет правам и безопасности всех пользователей, обеспечивая более безопасную и инклюзивную цифровую среду.
💬 Вопросы и ответы читателей:
В: Как платформы могут стать более надежными в плане модерации контента? О: Чтобы стать более надежными, платформы должны придавать приоритет прозрачности, разрабатывать улучшенные ответы на сообщенный контент и повышать ответственность за безопасность своих пользователей. Это включает лучшую коммуникацию с отдельными пользователями и предоставление своевременного доступа к информации о их аккаунтах и жалобах.
В: Почему в доверии между маргинализированными сообществами важно вопрос безопасности в онлайне? О: Маргинализированные сообщества часто вынуждены полагаться на своих подписчиков и других пользователей для поддержки и безопасности из-за ненадежности платформ. Создание доверия в этих сообществах крайне важно для создания более безопасной онлайн-среды.
Источники:
- Ссылка: Swift retaliation: Fans strike back after explicit deepfakes flood X
- Ссылка: X appears to restrict Japanese emergency alert account for hours during earthquake
- Ссылка: Trust and safety
- Ссылка: LG Gram Pro 2-in-1 hands-on: Lightweight convertible laptop gets better, faster OLED screen
- Ссылка: EAGLES POTY leak suggests Ronaldo and Messi were both called
- Ссылка: META’s content moderator subcontractor model faces legal squeeze in Spain
- Ссылка: Streaming media company Plex raises new funds, nears profitability
- Ссылка: Professor wins national writing competition with new novel AI wrote
📣 Поделитесь своими мыслями об этой статье и важности модерации контента на социальных платформах! 📣
