Desde hace unos días, se está hablando bastante en redes sociales de algo llamado GPT-3, un nuevo modelo informático lanzado en el mes de junio que dejó a más de uno sin palabras, porque es capaz de, entre otras cosas, programar código básico como un desarrollador más o traducir textos en inglés común a lenguaje jurídico sin tener hacer más nada que pedir que lo traduzca.
Sin embargo, ni siquiera sus propios creadores sabían que era capaz de hacer eso, no fue creado con ese fin. Este último invento de OpenAI, una 'startup' californiana de inteligencia artificial impulsada por Elon Musk y asociada a Microsoft, ha vuelto a poner el foco de las revoluciones tecnológicas en la IA.
GPT-3, es la tercera versión del modelo de procesamiento de lenguaje natural (NLP) de OpenAI, es un tipo de inteligencia artificial que se centra en estudiar y aprender lenguaje natural para luego poder crear textos complejos y, como explicó el 'youtuber' centrado en 'machine learning' Carlos Santana, es capaz de adivinar la siguiente palabra.
No obstante, esta es la definición básica y rápida que podríamos asemejar a las tareas que realizan los asistentes como Alexa o Siri, pero detrás de este caso hay muchísimo más. "Se trata del modelo más grande de este tipo creado hasta la fecha. Su punto más interesante es que ha sido pre entrenador con más de 175.000 millones de parámetros", señaló Santan.
A lo que se refiere Santana con esto, es que la clave de esta máquina 'mágica' está en que cuenta con 175.000 millones de parámetros conseguidos de una pantagruélica base de datos de textos de internet que ayudan a aprender y desarrollarse a este modelo.
"Tú creas estos programas con la idea del lenguaje natural, de que sean capaces de escribir textos como un humano, de conversar con personas de manera natural en 'chatbots' o desarrollar ideas de forma comprensible y compleja aprovechando todo el conocimiento adquirido y analizando los 'imputs' que recibe. Pero lo cierto es que no sabemos lo que está aprendiendo ahora mismo, cómo razona exactamente para elegir un término u otro y ni siquiera conocemos su límite", explicó Santana.
Al igual que Santana, los resultados también sorprenden a Julio Gonzalo, investigador de la UNED especializado en ciencias computacionales y NLP, que, aunque asegura que hay bastante 'hype' entorno a este último desarrollo y que estamos lejos de llegar a los límites de la teórica inteligencia artificial, esto da muestras de hasta dónde puede llegar.
"Este es el primer sistema capaz de resolver tareas en las que se dan unos pocos ejemplos, un único ejemplo, o incluso ningún ejemplo, solo una descripción de la tarea. Curiosamente la arquitectura es muy parecida a la de GPT-2, la mayor diferencia está en la escala tiene 10 veces más parámetros que lo que se había probado hasta ahora", afirmó investigador de la UNED.
Según Gonzalo, la escala es fundamental en los resultados. "Al evaluarlo con tareas en las que apenas hay datos de ejemplo han comprobado que es a esta escala a la que pueden empezar a abordarse tareas para las que existen cero, uno o muy pocos ejemplos de entrenamiento. De hecho, hay tareas en las que, entrenando con unos pocos ejemplos, son capaces de igualar el rendimiento de sistemas que han sido entrenados con decenas de miles de ejemplos".
Para ambos expertos, este descubrimiento, sería la gran revolución, bajo el GPT-3, y que puede cambiar la sociedad de forma profunda mediante el 'deep learning', publicó el sitio El Confindencial.
El 'deep learning' es la nueva revolución
Tanto para Santana como para Gonzalo, el GPT-3 es un nuevo ejemplo de una revolución más profunda y compleja que lleva años gestándose, aunque todavía no sea popular.
"Es un paso más en el proceso de aplicación del 'deep learning' al procesamiento del lenguaje natural, que es ciertamente una revolución en nuestro campo. Lo ha cambiado todo: el rendimiento de los sistemas, el enfoque unificado para casi cualquier problema de NLP, que es un paso firme hacia la comprensión del lenguaje, más allá de aprender correlaciones entre palabras y clases de un problema determinado", señaló Gonzalo.
Santana sin embargo, cree que lo ocurrido con las posibilidades de realizar cálculos o programar de GPT-3 es lo que se conoce en esta rama de conocimiento como 'one shoot learning'. El razonamiento es que si las redes neuronales son similares al cerebro humano deberían poder, como hace el ser humano, aprender a clasificar un objeto sin verlo miles de veces, incluso cuando lo ve por primera vez, usando la memoria de aprendizaje anterior.
El GPT-3 muestra que cuando recibe un 'imput' que no conoce acude a su mastodóntica memoria para encontrar una respuesta acorde, aunque nunca lo hayan programado para ello. Pero este tipo de desarrollo podría competir con el cerebro humano, para Santana todo apunta que por el momento no.
"Todavía necesita de 'imputs' humanos que dirijan sus acciones y razonamientos por lo que todavía está lejos de algo así, pero está claro que es un ejemplo más del camino que se puede llegar a andar. No sé si por ejemplo nos quitarán empleos en el corto plazo, pero seguro que estos modelos cambiarán nuestra forma de trabajar acabando con ciertos procesos. Quién sabe, lo mismo en unos años un periodista ya no tiene que escribir sus artículos o no completamente, sino que puede pensar una idea, comentársela a la máquina, que esta desarrolle un texto original centrado en los conceptos dados y el redactor solo tenga que pulirlo", afirmó Santana.
Sin embargo, Gonzalo es algo más escéptico, aunque no duda de que instaurarán cambios. "No conocemos su límite, pero sí está claro que, por increíbles que sean los resultados en determinadas tareas de GPT, estos sistemas no se están ni acercando al concepto de inteligencia artificial general. Están imitando lo que han visto; es una imitación muy sofisticada, pero no conectan lenguaje y significado ni razonan realmente. GPT-3, por ejemplo, fracasa estrepitosamente en problemas de comprensión de textos. En general los sistemas como GPT son capaces de general textos muy fluidos y naturales, pero al leerlos con detenimiento no suelen tener mucho sentido".
No obstante, las grandes corporaciones como Microsoft ya han comenzado a sustituir empleados humanos por IA, como es el caso de los periodistas del portal de Microsoft MSN. La misma compañía que financia GPT con más de 1.000 millones para crear IA 'fuerte' anunciaba hace justo un mes que despediría a 27 de sus redactores y que sus portales de noticias empezarían a llenarse de contenido generado por una IA.
Y hay quien incluso habla de que podrían sustituir hasta a consultores o analistas. Un futuro por el que se pelean las grandes tecnológicas y que también genera ciertas dudas por las implicaciones morales y éticas de estos conocimientos.
https://twitter.com/victorianoi/status/1284871982337667072
Cómo sigue la carrera tecnológica
Santana asegura que tanto se han disparado estas tecnologías que es muy posible que en unos meses ya sea Facebook o Google, a través de su filial Deepmind, superen las capacidades de GPT-3.
Las grandes tecnológicas se han puesto al frente de estos desarrollos y cada año gastan millones en sus mejoras. Esto ayuda al progreso de las mismas, pero también genera dudas en torno a cómo debería evolucionar esta tecnología.
"Ahora mismo digamos que la estructura de estos modelos está hecha, o sea todo el mundo puede hacer uno porque además los patrones se han ido liberando, pero lo que diferencia a unos de otros es el dinero que tienes para poder escalarlos con capacidad de computación", señaló Santana.
Sin embargo, según detalla Gonzalo, OpenAI se ha gastado casi 5 millones de dólares en entrenar GPT-3. "Se estima que para optimizar los 175.000 millones de parámetros de GPT-3 hay que gastar en capacidad de cómputo unos 4,6 millones de dólares. Además del coste económico, imagínate la huella ecológica", agregó.
/https://assets.iproup.com/assets/public/images/lazyload.gif)
Imagen del predictor de texto
Porque para el desarrollo de estas herramientas se necesita una gran cantidad energía que acaba impactando en el medio ambiente. A nivel general, la consultora McKensey calcula que para el año 2020, el mercado de las tecnologías de la información producirá en torno al 3 o 4% de todas las emisiones de CO2 del mundo.
Por ejemplo OpenAI anunció en 2019 que no liberaría del todo su GPT-2 por miedo a una mala utilización del modelo en pleno debate sobre las 'fake news', y ahora está siendo muy reticente a la hora de permitir a usuarios que prueben su potencial.
"Es una pregunta muy buena que no tiene una respuesta fácil. En tiempo de GPT-2, la comunidad de NLP reaccionó con enfado y con escepticismo al mensaje, había simplemente que creerse que habían dado un paso de gigante, sin ninguna explicación ni prueba. Pero por otro lado es verdad que si algo hacen bien estos sistemas es crear textos 'fake': en el fondo no tienen sentido ni están contrastados con la realidad, pero parecen escritos por humanos. Y es verdad que tiene cierto peligro que cualquiera pueda usar una herramienta así", concluyó Gonzalo
