Большие технологические компании отказались от доверия и безопасности. Теперь стартапы продают его обратно в виде сервиса
Ведущие технологические компании потеряли свою надежность и безопасность. Сейчас же стартапы предлагают это возвращаться в качестве услуги
Массовые увольнения в техническом секторе негативно сказались на командах по безопасности и доверию крупнейших компаний за последний год. Но с разгорающимися войнами на Украине и на Ближнем Востоке, а также с более чем 50 предстоящими выборами в следующие 12 месяцев, эксперты беспокоятся о том, что только что созданная отрасль стартапов, занимающихся безопасностью онлайн-пользователей, не сможет справиться.
В один год назад эти сокращения сделали заголовки новостей, когда X (тогда Twitter) уволил 3 700 человек, включая сотни сотрудников команд по доверию и безопасности. С тех пор Meta, Alphabet и Amazon делали аналогичные сокращения. Увольнения в X вдохновили другие платформы поступить так же, утверждает Сабханаз Рашид Дия, основательница техполитического института Tech Global Institute и бывший член команды по политике Meta. “Во многом Twitter смог уйти от этого”, – говорит она. “Это дало остальным компаниям уверенность сказать: “Знаешь, что? Это нормально. Ты можешь выжить и не столкнуться с ужасными последствиями.””
Однако, стоимость этих сокращений уже, можно сказать, очевидна в способе, которым крупные платформы пытаются ответить на войну между Израилем и Хамасом. А переход от внутренних команд по доверию и безопасности открыл возможности для консультаций и стартапов предлагать что-то новое: “доверие и безопасность как услуга”.
Эти компании, многие из которых основаны и обслуживаются людьми с опытом в крупных технологических компаниях, позволяют платформам “покупать, а не строить” услуги по доверию и безопасности, говорит Тальха Баиг, бывший инженер Meta, чей стартап Sero AI недавно получил поддержку акселератора Y Combinator. “На рынке есть гораздо больше рабочей силы, и есть также гораздо больше клиентов, готовых купить эту рабочую силу.”
Однако эксперты предупреждают, что передача доверия и безопасности другим компаниям также означает передачу ответственности командам, не имеющим возможности изменить сам способ работы платформ. Проблемы с доверием и безопасностью иногда более связаны с дизайном продукта, чем с активной модерацией – должен ли пользователь иметь возможность перепостить контент? Сколько веса следует придавать различным метрикам в рекомендательном алгоритме? “Поставщики могут быть отличными, но они не смогут обладать полным пониманием этого из-за того, как работают компании”, – говорит Массачи.
- WeWork только что подал на банкротство
- ИИ и медиа конЕНБЛЕ новая роль Перниле Холболль в Better Collective
- Капиталовложения растут, поскольку Amazon, Microsoft и Google смело...
То же самое относится и к ИИ-системам, которые компании используют для помощи в выявлении потенциально опасного или оскорбительного контента. Платформы часто используют большие объемы данных для создания внутренних инструментов, которые помогают им автоматизировать этот процесс, говорит Луи-Виктор де Франссу, сооснователь платформы доверия и безопасности Tremau. Но многие из этих компаний вынуждены полагаться на коммерчески доступные модели для построения своих систем, что может создавать новые проблемы.
Такие компании говорят, что они продают ИИ, но на самом деле они объединяют разные модели”, – говорит Франссу. Это означает, что компания может объединять несколько различных моделей машинного обучения – скажем, одну, которая определяет возраст пользователя, и другую, которая определяет обнаженность, чтобы выявлять потенциальный контент с сексуальным насилием над детьми – в сервис, который они предлагают клиентам.
И хотя это может сделать услуги более дешевыми, это также означает, что любая проблема в модели, которую использует заказчик, будет воспроизведена во всех его клиентах, говорит Гейб Николас, научный сотрудник Центра демократии и технологии. Таким образом, с точки зрения свободы слова, это означает, что если на одной платформе будет содержаться ошибка, вы не сможете выразить свое мнение на другой платформе – если есть ошибка, она будет размножаться повсюду. Эта проблема может усугубиться, если несколько исполнителей с одинаковыми основными моделями используются одновременно.
Передача критических функций третьим сторонам также может затруднить возможность людей понять, где принимаются модерационные решения, или для гражданского общества – исследовательских центров и неправительственных организаций, которые тщательно наблюдают за крупными платформами – знать, где лежит ответственность за сбои.
“Многие говорят так, словно эти крупные платформы сами принимают решения. На это указывают многие академические круги, гражданское общество и правительство”, – говорит Николас. “Идея о том, что мы можем указывать на неправильное место, вызывает страхи.”
Исторически большие компании, такие как Telus, Teleperformance и Accenture, были наняты для управления ключевой частью внештатной работы по доверию и безопасности: модерация контента. Это часто напоминало колл-центры, где большое количество низкооплачиваемых сотрудников вручную разбирают посты, чтобы решить, нарушают ли они политику платформы в отношении вещей, таких как ненависть, спам и нагота. Новые стартапы, связанные с доверием и безопасностью, все больше полагаются на автоматизацию и искусственный интеллект, часто специализируясь на определенных типах контента или тематических областях – например, терроризме или сексуальном насилии над детьми – или сосредотачиваясь на определенных средствах, таких как текст или видео. Другие разрабатывают инструменты, которые позволяют клиенту выполнять различные процессы в области доверия и безопасности через один интерфейс.
Крупные технологические компании обычно рассматривают доверие и безопасность как статью затрат, говорит Баиг, – то, что им приходится делать, чтобы удерживать регуляторов и группы гражданского общества на расстоянии, но без большой денежной ценности. Но это скоро может измениться. Закон об услугах цифровой сферы Европейского союза и Закон об онлайн-безопасности Великобритании, например, создали новые обязательства для крупных и малых технологических компаний по контролю за тем, что происходит на их платформах, и эти законы позволяют правительствам налагать огромные штрафы.
«Компании не меняют способ модерации контента на своей платформе, чтобы получить 5, 10 или 30 процентов эффективности», говорит Франсу из Tremau. «Что их побудит, это страх получения штрафа, особенно такого большого, как 6 процентов глобального годового дохода, или уголовная ответственность, как мы можем видеть в Великобритании».
Новые регулятивные акты в Великобритании и Европе также затронут малые платформы, особенно в отношении типов контента и услуг, к которым дети могут получить доступ. Стартапы могут предпочесть покупать доверие и безопасность в качестве услуги, а не создавать свои собственные команды и системы, говорит Сара Иттельсон, партнер венчурного фонда Accel, который инвестировал в инструмент доверия и безопасности Cinder. «Раньше компании считали, что проблемы с доверием и безопасностью возникают только на платформах определенного размера», – говорит она. – “Но на самом деле, они могут столкнуться с ними уже на ранних стадиях.” И, по ее словам, люди в конечном счете не хотят использовать платформы, на которых им не чувствуется безопасно или которые полны хламового контента.
Взрыв интереса к генеративному искусственному интеллекту только усилил давление на компании, чтобы они раньше обращали внимание на проблемы доверия и безопасности. Генеративные инструменты искусственного интеллекта теперь могут быть использованы для производства и распространения материала, содержащего сексуальное насилие над детьми и несогласного порнографического контента, что нарушило бы руководящие принципы большинства платформ. “Существует гораздо большая осведомленность о том, как эти инструменты могут быть использованы во вред”, – говорит Иттельсон. Это ставит перед компаниями вопрос, как им обеспечить, чтобы их платформы не были предметом завалов генеративного контента и как они будут предотвращать его злоупотребления.
«Ген AI делает это в 10 раз хуже», – говорит Дрор Нахуми, партнер Norwest Venture Partners, который инвестировал в стартап по доверию и безопасности ActiveFence. «Если я – сторонник плохих дел и создавал статью в неделю, теперь я могу создать 10 разных постов в этой же неделе, не прикладывая никаких дополнительных усилий».
В то время как инвесторы, с которыми говорили в ENBLE, сомневались в потенциальном размере индустрии доверия и безопасности в качестве услуги, ActiveFence, основанная в 2017 году и являющаяся одним из самых старых участников на рынке, привлекла $100 млн. в 2021 году и была оценена примерно в полмиллиарда долларов в 2021 году. И ее сооснователь, Ноам Шварц, говорит, что оценка выросла.
Хотя это всё еще новое направление, отрасль явно развивается. “Это точно так же, как это было 20 лет назад в индустрии кибербезопасности”, – говорит Шварц. Отчет 2020 года венчурной капиталовподами Paladin Capital показал, что отрасль уже привлекла более $1 млрд. финансирования, и отчет 2023 года от Департамента по науке, инновациям и технологиям Великобритании оценивает, что «Safety Tech», включая все от модерации контента до выявления мошенничества, готовит путь к достижению объема выручки в размере 1 млрд. фунтов стерлингов ($1,22 млрд.) к середине 2020-х годов.
Хотя Нахуми говорит, что массовые сокращения персонала в крупных технологических компаниях могут указывать на то, что в данный момент менее актуальна воля тратить на доверие и безопасность в общем-то, «в долгосрочной перспективе мы видим это как хорошую вещь для компаний в этой сфере, потому что это означает, что [технологические компании] будут все больше и больше полагаться на услуги компаний, специализирующихся в этой сфере, а не на что-то созданное внутри компании».
