El juego Human or Not pone a prueba la capacidad de las personas de distinguir a un humano de un modelo de inteligencia artificial a través de una conversación de 2 minutos, ¿crees que tú podrías hacerlo?
Creado por el desarrollador de sistemas de inteligencia artificial AI21 Labs, con sede en Tel Aviv, el juego en línea Human or Not está poniendo a prueba la capacidad de miles de personas para distinguir a un ser humano de un chatbot mediante una conversación. La plataforma se describe a sí misma como una “prueba de Turing social en formato de juego” y tras un mes de su lanzamiento los resultados demuestran que al parecer los avances en la IA generativa han hecho que más del 30% de las personas fallen al intentar diferenciar a una persona de un robot.
¿De qué trata el juego de Human or Not?
La prueba de Turing es una herramienta de evaluación para determinar si la capacidad de una máquina es similar, superior o indistinguible a la de un ser humano. El juego en línea de Human or Not, ofrece a las personas un desafío similar, pero con un toque de diversión.
La premisa del juego es simple, durante dos minutos los usuarios participan en un chat en línea sin saber quién está del otro lado de la conversación, un modelo de inteligencia artificial o una persona. Pueden hacer toda clase de preguntas y comentarios con el objetivo de descubrir mediante las respuestas que reciben si es un humano o un sistema con quien hablaron. Una vez que el tiempo termine, el jugador tiene solo unos cuantos segundos para determinar su decisión.
El juego fue diseñado por un equipo de especialistas en inteligencia artificial de AI21, liderados por el director creativo de productos de la compañía, Amos Meron, quien señaló que para desarrollar el juego utilizaron una serie de diversos modelos avanzados de lenguaje de última generación, incluyendo GPT-4, Bard y el propio Jurassic-2 de la compañía.
Por otra parte, Meron afirma que la compañía entrenó al chatbot del juego con base en estos modelos, pero lo codificó y diseñó de tal forma que los textos que arroje sean lo más parecidos a escritos humanos, que inclusive contengan errores ocasionales de ortografía, gramática y más, con el fin de confundir a los jugadores.
Los más importantes hallazgos encontrados en el juego
Después de generar millones de conversaciones en una de las pruebas de Turing de mayor escala jamás registrada, AI21 Labs reveló los resultados del primer mes del juego en línea, en los que se menciona que el 32% de las personas que han participado en el juego no pudieron diferenciar entre un humano y un chatbot, mientras que el 68% restante sí fue capaz de hacerlo.
Un hallazgo interesante en la información presentada por la compañía al suroeste de Europa es que a las personas les resultó más fácil identificar a otra persona. Al chatear con un ser humano, los participantes obtuvieron la respuesta correcta el 73% de las veces. Sin embargo, todo indica que cuando hablaban con un chatbot las cosas se volvían un tanto más confusas, ya que solo adivinaban correctamente el 60% de las ocasiones.
AI21 Labs declaró que estudiará los hallazgos obtenidos en el primer mes del juego más a detalle y señaló que buscará colaborar con otros investigadores y laboratorios líderes en IA en el proyecto con el objetivo de ayudar a los investigadores, legisladores y al público en general a comprender mejor la IA generativa, no solo como una herramienta para la productividad, sino como agentes virtuales autónomos, presentes en los entornos digitales.
“Comenzamos este experimento con algunas preguntas básicas sobre la capacidad de las personas para distinguir entre humanos y máquinas, debido al increíble desarrollo de la IA en el último año”, declaró Amos Meron, a lo que agregó, “encontramos algunas respuestas interesantes, pero lo más importante es que ahora tenemos nuevas y más complejas preguntas que debemos cuestionarnos como: ¿las personas deberían ser informadas cuando están hablando con una máquina? y ¿qué políticas deberían ser implementadas en torno a los chatbots.”
El director creativo de productos de AI21 admitió que, si bien no tienen las respuestas a estas cuestiones, espera que el juego de Human or Not ayude por lo menos a ponerlas en la mesa para impulsar a los organismos reguladores de todo el mundo a legislar sobre la inteligencia artificial generativa y los chatbots, ya que considera que esta tecnología “seguirá avanzando”.
