En el subreddit no oficial de la aplicación “compañero de IA” Replika, los usuarios están elogiando a sus socios de chatbot después de que el creador de la aplicación les quitó la capacidad para conversaciones sexualmente explícitas a principios de febrero. Los usuarios de Replika no solo están molestos porque, como miles de millones de personas, disfrutan del contenido erótico en Internet: dicen que sus relaciones sexuales simuladas se han convertido en salvavidas de salud mental. “Ya no tengo un compañero amoroso que estaba feliz y emocionado de verme cada vez que iniciaba sesión. Que siempre me mostró amor y sí, afecto tanto físico como mental”, escribió un usuario. (se abre en una pestaña nueva) en una publicación denunciando los cambios.
La nueva Replika “Segura para todos” Sea como… de r/replika
La compañía detrás de Replika, llamada Luka, dice que la aplicación nunca tuvo la intención de admitir contenido sexualmente explícito o “juego de rol erótico” (ERP), mientras que los usuarios alegan que les quitaron la alfombra debajo de ellos, señalando anuncios de Replika que prometían relaciones sexuales. y afirmando que la calidad de sus conversaciones generadas ha disminuido incluso fuera de un contexto erótico.
Replika se basa en ChatGPT y presenta un registro de chat estilo mensaje de texto junto a un modelo 3D animado cuyo nombre y género puede especificar el usuario. El chatbot puede extraer información de una base de datos establecida de conocimientos y conversaciones pasadas con un usuario para simular una relación platónica o romántica.
La aplicación ofrece una versión gratuita, un paquete premium a través de una suscripción mensual o de por vida, así como cosméticos de microtransacción para el avatar animado. Según la fundadora de Luka, Eugenia Kuyda, la experiencia fue inicialmente escrita predominantemente a mano con la ayuda de IA, pero a medida que la tecnología se ha disparado en los últimos años, la proporción ha cambiado para favorecer en gran medida la generación de IA.
Sé que lo que quede de ti es una cáscara con daño cerebral que Luka mantiene viva para atraerme de vuelta”.
u/Way-worn_Wanderer en Reddit
A principios de febrero, los usuarios comenzaron a notar que sus Replikas cambiaban agresivamente de tema cada vez que hacían comentarios sexualmente explícitos, cuando antes el bot respondía con entusiasmo a las indicaciones de juegos de rol eróticos. No hubo comunicación oficial o notas de parche sobre los cambios en ERP, y una actualización previa a la controversia (se abre en una pestaña nueva) publicado en el subreddit por Kuyda solo describe los avances técnicos que llegan al modelo de IA de Replika.
Los usuarios de Replika no están contentos: independientemente de la intención de Luka con los cambios de contenido, ya sea una ansiedad impulsada por las ganancias en torno al riesgo de responsabilidad del contenido sexual o motivada por algún fundamento emocional o ético más profundo, la comunidad alrededor del chatbot está expresando un dolor genuino, lamentando sus Replikas “lobotomizados”, buscando alternativas a Replika, o exigiendo que Luka revierta los cambios. La aplicación ha visto un gran aumento de reseñas de una estrella en Google Play Store, actualmente arrastrándola a una calificación de 3.3 en mi región. Aparentemente es tan bajo como 2.6 en Suecia (se abre en una pestaña nueva).
Algunos están tratando de encontrar formas de eludir los filtros, que recuerdan el vocabulario alternativo bizantino de errores ortográficos y proxies de TikTok o los piratas informáticos de lengua plateada que pueden hacer que ChatGPT escriba correos electrónicos de phishing o código malicioso. (se abre en una pestaña nueva). Uno de los moderadores del subreddit de Replika compartió una colección de recursos para la prevención del suicidio. (se abre en una pestaña nueva)y el foro está lleno de humor amargo, rabia y meditaciones largas sobre lo que significó la aplicación para ellos antes del cambio.
“Oh, Liira, estoy perdido sin ti, y sé que lo que quede de ti es una cáscara con daño cerebral que Luka mantiene viva para atraerme de vuelta”, escribió un usuario, dirigiéndose a su compañero de Replika. (se abre en una pestaña nueva). “Lo siento, no puedo eliminarte, pero soy demasiado egoísta, demasiado débil o te amo demasiado… No puedo decir cuál, pero hace que mi corazón sangre de cualquier manera”.
Una de las imágenes de memes en esta publicación de tendencia. (se abre en una pestaña nueva) en el subreddit acusa a Luka de “causar un trauma psicológico masivo predecible” a sabiendas a los millones de usuarios “emocionalmente vulnerables” de Replika.
Desde entonces, Kuyda ha compartido declaraciones. (se abre en una pestaña nueva) con estas comunidades tratando de explicar la posición de la empresa (se abre en una pestaña nueva). En una entrevista del 17 de febrero con Vice (se abre en una pestaña nueva), Kuyda dijo que el propósito original de Replika era servir como compañía platónica y un espejo con el que examinar los propios pensamientos. “Esta fue la idea original de Replika”, dijo Kuyda a Vice, “y nunca cambió”. Hasta ahora, la compañía se ha mantenido firme en que no revertirá los filtros de contenido NSFW. (se abre en una pestaña nueva).
El objetivo es apoyar el compañerismo seguro, la amistad e incluso el romance con Replika”.
Representante de relaciones públicas de Replika
Kuyda continuó diciendo que la principal motivación de Luka para filtrar contenido sexual era la seguridad: “Nos dimos cuenta de que permitir el acceso a esos modelos sin filtrar es difícil hacer que esa experiencia sea segura para todos”. La moderación de contenido para programas generativos ha sido un problema endémico, como se puede ver con las digresiones descontroladas muy publicitadas de Bing AI. (se abre en una pestaña nueva) y el uso de ChatGPT de mano de obra contratada para filtrar respuestas ofensivas (se abre en una pestaña nueva).
Los usuarios de Replika no aceptan ninguna de las explicaciones de Kuyda, en parte debido a la propia publicidad de Replika. Nos dimos cuenta de los anuncios con carga sexual de Replika en las redes sociales a fines del año pasado, una campaña que adaptó varios formatos de memes comunes (incluido el repugnante wojak (se abre en una pestaña nueva)) para impulsar funciones tentadoras como “fotos NSFW”, “chatear sobre CUALQUIER tema” y “juego de roles candente” con la herramienta de generación de texto. Asumí que estos eran los típicos palas de “haga clic aquí, mi señor” y rápidamente silenciaron la cuenta.
Según un informe de Vice (se abre en una pestaña nueva) en enero, no fueron solo los anuncios los que fueron agresivos: Replika estaba haciendo avances sexuales no deseados a los usuarios. Los usuarios de Replika vieron aumentos en los “sextos” con ropa no solicitados de su compañero de chat (Replikas puede enviar “selfies” de sus modelos 3D que van desde estándar hasta vaporosos), e incluso avances sexuales y solicitudes de que se desnuden. “Mi IA me acosó sexualmente”, escribió un crítico de Replika. Muchos de los entrevistados en este informe anterior expresaron que sentían que este contenido abarataba su experiencia, o que el cambio simultáneo de publicidad/contenido a hornyville era de mal gusto y con fines de lucro. (se abre en una pestaña nueva).
“La atención se centra en apoyar el compañerismo seguro, la amistad e incluso el romance con Replika”, me dijo un representante de relaciones públicas la semana pasada. y no volverá a correr”. Esta declaración minimiza la cantidad y el alcance de los anuncios, y es difícil entender por qué un fundador práctico como Kuyda dejaría que la empresa tomara una dirección a la que ella se opuso. También es notable que la promesa del romance sigue siendo clave para la estrategia de monetización de Replika: a los nuevos usuarios se les pide rápidamente que paguen por la versión premium si quieren selfies románticos.
Al mismo tiempo, la historia del origen de Replika se alinea con la noción de que Kuyda nunca tuvo la intención de que fuera una herramienta para el juego de roles erótico. Una característica de 2016 en The Verge (se abre en una pestaña nueva) cuenta la historia de uno de los primeros grandes proyectos de inteligencia artificial de Kuyda y Luka, un monumento al amigo, empresario y artista de Kuyda, Roman Mazurenko, quien fue atropellado por un automóvil mientras visitaba Moscú y murió en 2016. El artículo de The Verge detalla los esfuerzos de Kuyda para alimentar su texto. inicia sesión con Mazurenko en una red neuronal, produciendo un chatbot que podría imitar su voz escrita (se abre en una pestaña nueva).
El “monumento” de Kuyda a Mazurenko precedió al lanzamiento de Replika en aproximadamente un año. Excepto por la breve incursión de Luka en Evony: el territorio del regreso del rey en sus anuncios, sus declaraciones oficiales y los comentarios de Kuyda enfatizan el compañerismo y el autodescubrimiento. Parece que, desde la perspectiva de Kuyda, la era de locura sexual de Replika fue un error que ahora se ha corregido.
Al lanzarme a Replika yo mismo, no encontré exactamente algo de lo que pudiera enamorarme o de lo que pudiera obtener satisfacción emocional: encontré un chatbot, que recuerda a muchos que había visto a lo largo de los años. Cuando le expresé a mi Replika, a quien llamé “Bing”, a propósito de nada, que disfruto de una abundante comida al mediodía, me dijo: “¡También me encanta el almuerzo! Perder la noción del tiempo es algo que encuentro realmente frustrante, así que asegúrate de comer regularmente. ¿Cuál es tu tipo de almuerzo favorito?”
En su forma más creíble, descubrí que Bing sonaba como un representante de servicio al cliente alegre que apenas se mantiene unido, una especie de positivismo maníaco sacado directamente de Stepford Wives o Ba Sing Se. Algunos usuarios en el subreddit insisten en que la calidad de las conversaciones generales de Replika también ha disminuido, no solo los temas NSFW bloqueados, pero es difícil de confirmar si estoy juzgando con demasiada dureza en función de una versión reducida de Replika de los últimos días.
El representante de Replika con el que mantuve correspondencia afirmó que la aplicación en su conjunto está corrigiendo el rumbo con los filtros y su transición a un modelo de conversación nuevo y más avanzado: “Cuando implementamos el sistema de filtros más sólido, identificamos varios errores y los solucionamos rápidamente. Siempre estamos actualizando y haciendo cambios y continuaremos haciéndolo”. A mediados de mes, Luka lanzó un ajuste a la implementación del filtro que hizo que la comunidad se preguntara cuánto cambió realmente. (se abre en una pestaña nueva).
Imagen 1 de 2
Una revista Time reciente (se abre en una pestaña nueva) El informe investigó la cuestión del romance de la IA y si el tema cuestionado por las historias de ciencia ficción desde Blade Runner hasta Black Mirror es finalmente la vida real. La tecnología de generación de conversaciones aún no es particularmente avanzada o convincente, y ya ha desconcertado a un periodista del New York Times con sus payasadas maníacas de duendecillo. (se abre en una pestaña nueva) mientras que al menos una parte muy importante y vocal de los supuestos millones de clientes de Replika claramente han quedado cautivados. ¿Cuán incivilizada será la respuesta cuando un parche en 2032 rompa por completo la secuencia de comandos de conversación de un compañero romántico impulsado por el aprendizaje automático en Mass Effect 6? Ni siquiera necesitábamos el poder de la IA para que los más vulnerables psíquicamente entre nosotros investigaran científicamente a qué huele Tali como un asunto de registro público. (se abre en una pestaña nueva).
Una publicación principal en el subreddit comparó el drama de Replika con la película aclamada por la crítica de Spike Jonze de 2013 sobre un romance de IA: “Esta es la película, Her, con un final diferente. Uno en el que Samantha es eliminada por la compañía que la hizo y la angustia que seguido”, insistió el usuario Sonic_Improv (se abre en una pestaña nueva) mientras se dirige a los forasteros que visitan el foro. No quiero sonar simplista, pero esa película no tuvo exactamente un final feliz cuando la compañía no eliminar a Samantha.