Ambas empresas se aliaron para entrenar a uno de los modelos de lenguaje basados en IA más poderosos del mundo. Sin embargo, aún quedan situaciones por resolver, como el sesgo y los altos costos.
Microsoft y Ndivia dieron un paso sin precedentes para crear a una inteligencia artificial (IA) superpoderosa capaz de emular el lenguaje humano de forma muy convincente. Dado el tiempo y costo que tomó desarrollarla, queda en duda si realmente puede ser escalable.
La nueva red neural, mejor conocida como Megatron-Turing Natural Language Generation (MT-NLG) cuenta con 530 mil millones de parámetros, más del triple que el GPT-3 de OpenAI que registra 175 mil millones, el cual era considerado el mejor sistema hasta el momento.
Te puede interesar: Empresa sin innovación desaparece, no perdura ni crece
Con lo anterior, el MT-NLG mejora la precisión en actividades propias del lenguaje natural como son la comprensión de lectura, razonamiento a partir del sentido común y las inferencias.
“La calidad y los resultados que hemos obtenido son un gran paso en la búsqueda para desbloquear todo el potencial de la IA en el lenguaje natural”, comentaron en una entrada de blog Paresh Kharya, director sénior en Gestión de Producto y Marketing en Computación Acelerada en Nvidia, y Ali Alvi, líder del equipo de Microsoft Turing.
El MT-NLG tiene la capacidad para transformar el desarrollo de nuevos productos y de incentivar a la comunidad con la intención de ir más allá en el procesamiento natural del lenguaje natural.
“El viaje es largo y todavía falta recorrido para completarlo, pero estamos entusiasmados sobre lo que es posible y de lo que viene más adelante”, escribieron Kharya y Alvi.
Para entrenar este modelo, Microsoft y Nvidia crearon una base de datos con más de 270 mil millones de tokens obtenidos a partir de sitios web en inglés. Los tokens, además de separar el texto en unidades más pequeñas de lenguaje natural, pueden ser palabras completas o partes, así como otros caracteres.
Como cualquier otro modelo, el MT-NLG tuvo que aprender a partir de puntos de datos, tales como reglas gramaticales y de sintaxis.
Por supuesto que aún quedan problemas por resolver. Durante el entrenamiento de esta inteligencia artificial superpoderosa, se presentó el sesgo.
“Mientras que los grandes modelos están a la vanguardia en la generación del lenguaje, también padecen de sesgos y toxicidad”, explicaron los dos expertos.
Ambos agregaron que, con las observaciones tras las pruebas, se determinó que el modelo selecciona estereotipos y se sesga a partir de los datos con los que es entrenado.
Lee también: Instagram ahora cuidará a tus hijos
Tanto Microsoft como Nvidia están comprometidos en trabajar con la finalidad de solucionar esta situación. Por otro lado, ambas empresas aclararon que cualquier uso de Megatron-Turing en la producción debe contar “con las medidas apropiadas para mitigar y minimizar cualquier daño potencial a los usuarios”.
Entre lo que menos se quiere es otro chatbot como Tay que de pronto se convirtió en un Nazi tras interactuar en internet unas cuantas horas. Por otro lado, está la cuestión de los costos para escalar modelos como el MT-NLG, que para entrenarlos se pueden requerir alrededor de 4.6 millones de dólares por cada sesión y podría tomar hasta 665 años para completar este proceso.
¿Se llegará el día en que pronto seamos testigos de una inteligencia artificial superpoderosa o todavía falta tiempo?
