Алекс Попкен долгое время работала руководителем отдела доверия и безопасности в Twitter, занимаясь модерацией контента, прежде чем уйти в 2023 году. Когда она пришла в 2013 году, она была первым сотрудником, который занимался модерацией рекламного бизнеса Twitter.
Сейчас она является вице-президентом по доверию и безопасности в WebPurify, поставщике услуг модерации контента, который работает с предприятиями, чтобы гарантировать, что контент, который люди публикуют на своих сайтах, соответствует правилам.
Платформы социальных сетей — не единственные, которые нуждаются в полицейском надзоре. Любая компания, работающая с потребителями — от розничных продавцов до приложений для знакомств и новостных сайтов — нуждается в том, чтобы кто-то отсеивал нежелательный контент, будь то разжигание ненависти, преследование или что-то незаконное. Компании все чаще используют искусственный интеллект в своих усилиях, но Попкен отмечает, что люди по-прежнему играют важную роль в этом процессе.
Попкен недавно говорил с Associated Press. Разговор был отредактирован для ясности и длины.
ВОПРОС: Какими вы видите изменения в модерации контента за то десятилетие, когда вы работали в Твиттере?
ОТВЕТ: Когда я присоединился к Твиттеру, модерация контента находилась в зачаточном состоянии. Я думаю, что даже доверие и безопасность были той концепцией, которую люди только начинали понимать и с которой приходилось бороться. Потребность в модерации контента возрастала по мере того, как платформы видели, что его используют в качестве оружия по-новому. Я могу вспомнить некоторые ключевые вехи моего пребывания в Твиттере. Например, вмешательство России в президентские выборы в США в 2016 году, когда мы впервые осознали, осознали значимым образом, что без модерации контента у нас могут быть плохие игроки, подрывающие демократию. Необходимость инвестирования в эту область становилась все более важной.
Вопрос: Многие компании, в том числе крупные компании, занимающиеся социальными сетями, полагаются на искусственный интеллект для модерации контента. Считаете ли вы, что ИИ уже находится в такой ситуации, когда на него можно положиться?
Ответ: Эффективная модерация контента — это сочетание людей и машин. ИИ, который использовался в умеренных количествах в течение многих лет, решает проблему масштаба. Итак, у вас есть модели машинного обучения, которые обучены различным политикам и могут обнаруживать контент. Но в конечном итоге предположим, что у вас есть модель машинного обучения, которая распознает слово «нацист». Есть много постов, которые могут критиковать нацистов или предоставлять образовательные материалы о нацистах и, например, о превосходстве белой расы. И поэтому он не может учитывать нюансы и контекст. И здесь действительно вступает в игру человеческий слой.
Я действительно думаю, что мы начинаем видеть действительно важные достижения, которые облегчат работу человека. И я думаю, что генеративный ИИ — отличный тому пример, в отличие от традиционного. Модели искусственного интеллекта, он может понимать контекст и нюансы гораздо лучше, чем его предшественник. Но даже несмотря на это, у нас теперь есть совершенно новые варианты использования для наших модераторов-людей, связанные с модерированием результатов генеративного ИИ. Поэтому необходимость человеческой умеренности, на мой взгляд, сохранится и в обозримом будущем.
Вопрос: Можете ли вы рассказать немного о компаниях, не связанных с социальными сетями, с которыми вы работаете, и о том, какой тип модерации контента они используют?
Ответ: Я имею в виду все, начиная от настройки розничной продукции, вы знаете, представьте, что вы позволяете людям настраивать футболки, верно? Очевидно, вы хотите избежать случаев использования, когда люди злоупотребляют этим и помещают на футболку вредные и ненавистные вещи.
На самом деле, все, что имеет пользовательский контент, вплоть до онлайн-знакомств — здесь вы ищете такие вещи, как ловля кошек и мошенничество, а также обеспечение того, чтобы люди были теми, кем они себя называют, и предотвращение загрузки людьми, например, неуместных фотографий. Он охватывает несколько отраслей.
Вопрос: Что насчет вопросов, которые вы модерируете, изменится ли это?
Ответ: Модерация контента — это постоянно меняющаяся ситуация. И на это влияет то, что происходит в мире. На это влияют новые и развивающиеся технологии. На него влияют злоумышленники, которые попытаются проникнуть на эти платформы новыми и инновационными способами. И поэтому, как команда модераторов контента, вы пытаетесь быть на шаг впереди и предвидеть новые риски.
Я думаю, что в этой роли есть немного катастрофического мышления, когда вы думаете о том, какие наихудшие сценарии могут здесь произойти. И, конечно же, они развиваются. Я думаю, что дезинформация — отличный пример того, как у дезинформации так много аспектов, и ее так сложно модерировать. Это похоже на кипячение океана. Я имею в виду, что вы не можете проверить все, что кто-то говорит, верно? И поэтому, как правило, платформам необходимо сосредоточиться на дезинформации, чтобы не причинить реального вреда миру. И это тоже постоянно развивается.
Вопрос: Что касается генеративного ИИ, есть некоторые мысли о конце света, что он разрушит Интернет, что в нем будет просто фальшивый ИИ. Вы чувствуете, что это может произойти?
Ответ: Меня беспокоит дезинформация, генерируемая ИИ, особенно во время чрезвычайно важного сезона выборов во всем мире. Вы знаете, мы активно видим в Интернете все больше дипфейков и вредоносных синтетических и манипулируемых СМИ, что вызывает беспокойство, потому что я думаю, что обычному человеку, вероятно, приходится нелегко. различать точное и нет.
Я думаю, что в среднесрочной и долгосрочной перспективе, если меня можно будет должным образом регулировать и если вокруг этого будут соответствующие ограждения, я также думаю, что это может создать возможности для наших специалистов по доверию и безопасности. Я делаю. Представьте себе мир, в котором ИИ является важным инструментом модерации контента, например, для анализа угроз. Знаете, я думаю, что это будет чрезвычайно полезный инструмент, но им также будут злоупотреблять. И мы уже это видим.