Alex Popken fue ejecutiva de confianza y seguridad en Twitter durante mucho tiempo y se centró en la moderación de contenido antes de irse en 2023. Fue la primera empleada dedicada a moderar el negocio publicitario de Twitter cuando comenzó en 2013.
Ahora es vicepresidenta de confianza y seguridad en WebPurify, un proveedor de servicios de moderación de contenido que trabaja con empresas para ayudar a garantizar que el contenido que las personas publican en sus sitios siga las reglas.
Las plataformas de redes sociales no son las únicas que necesitan vigilancia. Cualquier empresa orientada al consumidor (desde minoristas hasta aplicaciones de citas y sitios de noticias) necesita a alguien que elimine el contenido no deseado, ya sea discurso de odio, acoso o cualquier cosa ilegal. Las empresas utilizan cada vez más la inteligencia artificial en sus esfuerzos, pero Popken señala que los humanos siguen siendo esenciales para el proceso.
Popken habló recientemente con The Associated Press. La conversación ha sido editada para mayor claridad y extensión.
PREGUNTA: ¿Cómo viste el cambio en la moderación de contenido en esa década que estuviste en Twitter?
RESPUESTA: Cuando me uní a Twitter, la moderación de contenido estaba en sus etapas incipientes. Creo que incluso la confianza y la seguridad eran conceptos que la gente apenas estaba empezando a comprender y afrontar. La necesidad de moderar el contenido aumentó a medida que nosotros, las plataformas, vimos cómo se convertían en armas de nuevas maneras. Puedo recordar algunos hitos clave de mi mandato en Twitter. Por ejemplo, la interferencia rusa en las elecciones presidenciales estadounidenses de 2016, donde nos dimos cuenta por primera vez de manera significativa, de que sin moderación de contenido podemos tener malos actores que socavan la democracia. La necesidad de invertir en esta área se volvió cada vez más importante.
P: Muchas empresas, las más grandes de redes sociales, se apoyan en la inteligencia artificial para moderar el contenido. ¿Crees que la IA está en un lugar donde es posible confiar en ella?
R: La moderación de contenido eficaz es una combinación de humanos y máquinas. La IA, que se ha utilizado con moderación durante años, resuelve la cuestión de la escala. Y entonces tenemos modelos de aprendizaje automático que están capacitados en diferentes políticas y pueden detectar contenido. Pero, en última instancia, digamos que tiene un modelo de aprendizaje automático que detecta la palabra "nazi". Hay muchas publicaciones que podrían criticar a los nazis o proporcionar material educativo sobre los nazis versus la supremacía blanca. Y por eso no puede resolver los matices y el contexto. Y ahí es realmente donde entra en juego la capa humana.
Creo que estamos empezando a ver avances realmente importantes que facilitarán el trabajo de los humanos. Y creo que la IA generativa es un gran ejemplo de ello, a diferencia de la tradicional. En los modelos de IA, puede comprender el contexto y los matices mucho mejor que su predecesor. Pero aún así, ahora tenemos casos de uso completamente nuevos para nuestros moderadores humanos en torno a la moderación de los resultados de la IA generativa. Por eso, en mi opinión, la necesidad de moderación humana seguirá siendo necesaria en el futuro previsible.
P: ¿Puedes hablar un poco sobre las empresas de redes sociales con las que trabajas y qué tipo de moderación de contenido utilizan?
R: Quiero decir, todo, desde la personalización de productos minoristas, ya sabes, imagina que estás permitiendo que las personas personalicen camisetas, ¿verdad? Obviamente, desea evitar casos de uso en los que la gente abuse de eso y ponga cosas dañinas y odiosas en la camiseta.
En realidad, cualquier cosa que tenga contenido generado por el usuario, hasta las citas en línea, busca cosas como catfishing y estafas, y se asegura de que las personas sean quienes dicen ser y evita que las personas carguen fotos inapropiadas, por ejemplo. Abarca múltiples industrias.
P: ¿Qué pasa con los temas que estás moderando? ¿Eso cambia?
R: La moderación de contenido es un panorama en constante evolución. Y está influenciado por lo que está sucediendo en el mundo. Está influenciado por tecnologías nuevas y en evolución. Está influenciado por malos actores que intentarán acceder a estas plataformas de formas nuevas e innovadoras. Por eso, como equipo de moderación de contenido, intenta ir un paso por delante y anticipar nuevos riesgos.
Creo que hay un poco de pensamiento catastrófico en este rol en el que piensas en cuáles son los peores escenarios que pueden suceder aquí. Y ciertamente evolucionan. Creo que la desinformación es un gran ejemplo de que la desinformación tiene tantas facetas y es muy difícil de moderar. Es como hervir el océano. Quiero decir, no puedes verificar cada cosa que alguien dice, ¿verdad? Por eso, normalmente las plataformas deben centrarse en la información errónea para no causar el mayor daño en el mundo real. Y eso también está siempre evolucionando.
P: En términos de IA generativa, hay una idea apocalíptica de que arruinará Internet, que simplemente habrá, ya sabes, cosas falsas de IA. ¿Sientes que eso podría estar pasando?
R: Me preocupa la desinformación generada por la IA, especialmente durante una temporada electoral extremadamente importante a nivel mundial. Ya sabes, estamos viendo activamente más deepfakes y medios sintéticos y manipulados dañinos en línea, lo cual es preocupante porque creo que la persona promedio probablemente lo pase mal. discernir entre lo exacto y lo no.
Creo que a mediano y largo plazo, si puedo ser regulado adecuadamente y si existen barreras de seguridad adecuadas a mi alrededor, también creo que puede crear una oportunidad para nuestros profesionales de la confianza y la seguridad. Sí. Imagine un mundo en el que la IA sea una herramienta importante en el conjunto de herramientas de moderación de contenidos, para cosas como la inteligencia sobre amenazas. Sabes, creo que será una herramienta extremadamente útil, pero también se usará mal. Y ya lo estamos viendo.