Blog

NLP: Procesamiento del Lenguaje Natural

¿Que es el procesamiento de lenguaje natural?, ciertamente podemos decir que el NLP (por sus siglas en Ingles) es un tipo de inteligencia artificial que se encarga de investigar la manera de comunicar las maquinas con las personas mediante un lenguaje natural, como el inglés, español o chino

A medida del paso de los años hemos visto como los diferentes campos de la inteligencia artificial ha ido variando y sumándose a esta revolución en tiempos diferente.

Como es el caso de el gran boom del campo de la visión por ordenador que se produjo en el 2012 cuando Alexnet un tipo de red neuronal convolucional gano el concurso ILSVRC (concurso de reconocimiento visual a gran escala de ImageNET) que es un concurso de clasificación de imagen.

Y con esto la revolución de la percepción visual dio comienzo.

Así mismo sucedió con el campo de los modelos generativos donde le boom comenzó en el 2014 con el desarrollo de las primeras GANs (Redes Generativas Antagónicas) que son una clase de algoritmos de inteligencia artificial que se utilizan en el aprendizaje no supervisado, y desde ese momento se a vivido una evolución exponencial el los resultado que esta tecnología puede ofrecer, la revolución de generación artificial, había comenzado.

Así revolución tras revolución cada rama del Machine learning e inteligencia artificial va encontrando nuevos caminos, nuevos algoritmos haciendo así que cada campo avanzar muy rápidamente, donde antes nos parecía algo casi imposible de realizar, siendo capaces de resolver problemas que antes creíamos irresolubles.

 Y siendo esto así, nos nace una pregunta.

¿Dónde se esta Produciendo La Siguiente gran Revolución?

La siguiente gran revolución: NLP (Procesamiento del Lenguaje natural)

Para ver la siguiente revolución tenemos que convencernos y darnos cuenta que esta ola de transformación tecnológica es muy grande, convencernos de que esta tecnología nos hara replantear muchos aspectos de nuestro día a día, para ello vamos a analizar grandes noticias que demuestran todo lo que estas tecnologías tienen para ofrecer

GPT-3, el Nuevo generador de lenguaje por inteligencia artificial que revoluciona al mundo

GPT-3 son las siglas de Generative Pre-Trained Transformer 3, un modelo de lenguaje desarrollado por OpenAI, el archiconocido laboratorio y organización sin ánimo de lucro fundada en San Francisco (Estados Unidos) por Elon Musk, entre otros. Una empresa donde Microsoft ha invertido nada menos que 1.000 millones de dólares.

Gpt-3 es el modelo de lenguaje mas poderoso de la historia . su predecesor, GPT-2,lanzado en el año 2019, ya podía generar flujos de texto convincentes en una variedad de estilos diferentes cuando se le solicito una oración inicial, y había demostradi ser algo controvertido debido a su capacidad para crear artículos de “noticias falsas” extremadamente realistas y coherentes basaos en algo tan simple como una oración inicial.

Pero el GPT-3 es un gran salto hacia adelante, el modelo tiene 175 mil millones de parámetros (los valores que una red neuronal intenta optimizar durante el entrenamiento), en comparación con los ya enormes 1.5 mil millones de GPT-2.

Uno de los ejemplos más interesantes proviene del director de Founders Fund (una empresa de capital de riesgo con base en san Francisco), quien alimento con el algoritmo GTP-3 la mitad de un memorándum de inversión que había escrito y publicado en el sitio web de su compañía.GPT-3 fue capaz de generar no solo párrafos de texto adicionales coherentes, sino que también pudo seguir el formato anterior de tal manera que casi no se distinguía del texto original escrito por humanos.

En varios puntos del texto, GPT-3 también describe vario casos de uso posibles para modelos de predicción del lenguaje, y señala que podrían usarse para “noticias falsas” periodismo investigado, publicidad, política y propaganda”

Nota: Lo que mas sorprende de este tipo de modelos no solo es su capacidad para generar grandes cantidades de texto que guardan relación y lógica con todo el conjunto, sino también para completar sumas y traducir texto, algo para lo cual este tipo de modelo no está entrenado, lo que nos da a entender que este modelo esta meta aprendiendo a través del lenguaje.

Blender Bot 2.0: un chatbot de código abierto que crea memoria a largo plazo y busca en Internet

El modelo toma la información pertinente obtenida durante la conversación y la almacena en una memoria a largo plazo para luego aprovechar este conocimiento en conversaciones en curso que pueden continuar durante días, semanas o incluso meses. Los modelos actuales de generación de lenguaje como el GPT-3 y la primera versión de Facebook AI de blenderBot puede expresarse articuladamente, y generar texto de apariencia realista. Pero sufre de muy corta memoria, y cualquier memoria de largo plazo eran estáticas se limitaban a lo que se les ha enseñado anteriormente. Y nunca podían obtener conocimientos adicionales por ejemplo conocían programas de televisión y películas populares del pasado pero no conocen series estrenadas recientemente como WandaVision por ejemplo. Facebook AI Research ha creado y abierto BlenderBot 2.0, el primer chatbot que puede construir simultáneamente memoria a largo plazo a la que puede acceder continuamente, buscar en Internet información oportuna y tener conversaciones sofisticadas sobre casi cualquier tema. Es una actualización significativa del original BlenderBot, que abrimos en 2020 y que se abrió camino como el primero en combinar varias habilidades de conversación, como la personalidad, la empatía y el conocimiento, en un solo sistema.

Una arquitectura modelo sintonizada para la capacidad de conversación

BlenderBot 2.0 utiliza un modelo basado en Facebook

Generación aumentada de recuperación- un enfoque que permite generar respuestas de diálogo que incorporan conocimientos más allá del contenido en la propia conversación. Durante la conversación, el modelo, que combina un componente de recuperación de información con un generador seq2seq, busca información relevante tanto en su memoria a largo plazo como en los documentos que encuentra al buscar en Internet. Para hacer esto, aumentamos la arquitectura tradicional de codificador-decodificador con un módulo de red neuronal adicional que genera consultas de búsqueda relevantes dado el contexto conversacional. BlenderBot 2.0 luego antepone el conocimiento resultante al historial de la conversación, que se codifica utilizando el Fusión en decodificador método. Finalmente, teniendo en cuenta este conocimiento codificado, el chatbot genera una respuesta

Nota: Blenderbot2 es la mejor actualización hasta el momento, es increíble que este chat bot rompa esquemas clásicos de anteriores chatbot que lo único que hacían era buscar en sus base de datos plantillas predefinidas que se ajustaran al tipo de conversación que se estaba teniendo, ahora Blenderbot2 además de buscar en internet temas y respuestas para que la conversación sea más larga y dinámica, también se le puede agregar una personalidad, por ejemplo podemos insertar con un input una personalidad como que le guste los deportes por ejemplo así el chatbot será capaz de mantener una conversación contigo ajustándose a dicha personalidad

Consola semántica: Microsoft y OpenAI crean una inteligencia artificial que autocompleta código Python a partir de instrucciones en lenguaje natural

Microsoft ha creado una de las cinco más potentes del mundo (basada en Azure y dotada de 285.000 procesadores) y la ha cedido para uso exclusivo de OpenAI, la organización de investigación de inteligencia artificial ‘fuerte’ que Elon Musk ayudó a fundar hace unos años.

La compañía lo ha anunciado en el marco de la conferencia Build 2020, reconvertida en evento online para desarrolladores. Y, a la hora de explicar qué tipo de avances pueden lograrse gracias a la IA y a su supercomputadora, nos ha presentado lo que podría ser el inicio de una revolución a la hora de escribir código de software.

Kevin Scott (director de tecnología de Microsoft) y Sam Altman (CEO de OpenAI) nos muestran en un vídeo un ejemplo de creación automática de código: en el mismo, el programador inicia la escritura de un método en código Python, añade un comentario explicando en lenguaje natural no lo que hace el código ya escrito, sino lo que debe hacer el código que falta… y la inteligencia artificial lo genera.

si algo falla, el programador sólo debe rehacer el comentario para ‘explicarse’ mejor. Pero no sólo es capaz de elaborar código a partir de lo escrito por el desarrollador humano, sino también de evitar generar código superfluo

.

consola
Si estamos hablando de modelos que puedan generar texto, incluso que sean capaces de entenderlos, y traducirlos a otros idiomas o de poder mantener una conversación con el propio modelo y pedirle cosas, que nos impide por ejemplo pedirle que nos traduzca determinadas tareas a código. Open AI a presentado un prototipo de consola inteligente donde un usuario puede directamente utilizando un lenguaje natural, que quiere exactamente que la consola haga, por ejemplo pedirle que descargues el repositorio de Open AI gym, y en ese momento a partir de entender ese lenguaje natural la consola te podrá proponer precisamente cuales son los comandos que tienes que ejecutar. Una herramienta que de nuevo demuestra el potencial que estos sistemas tienen a la hora de minimizar esta barrera entre la comunicación Humano Maquina para poder hacerla más natural y más semántica eliminando casi por completo la barrera de entrada para usuarios menos experimentados.

TransCoder de Facebook: un compilador de fuente a fuente de IA

TransCoder traduce código entre tres lenguajes populares: C ++, Java y Python.

El equipo de Facebook AI Research (FAIR) ha desarrollado un modelo de inteligencia artificial, TransCoder. FAIR tiene como objetivo resolver este problema mediante la automatización, con la ayuda de una arquitectura avanzada de Deep Learning para traducir entre 3 lenguajes de programación populares que se utilizan en la actualidad.

las herramientas de transcodificación se basan en reglas para convertir la fuente en token y convertirla en un árbol de sintaxis abstracta (AST) en el que se utilizan reglas hechas a mano. Luego, el AST se transforma para generar código en el idioma de destino. El proceso de redacción de reglas requiere mucho tiempo.

tras

Utilizando un enfoque con aprendizaje no supervisado, el modelo de inteligencia artificial entrena más de 2,8 millones de repositorios de GitHub de código abierto para mapear fragmentos de código de un idioma a otro. Las palabras clave de programación de diferentes idiomas se tokenizan y verifican la similitud.

 

TransCoder utiliza un modelo secuencia a secuencia (seq2seq) con un codificador y un decodificador con una arquitectura de transformador. El modelo implementa el preentrenamiento del modelo de lenguaje de programación cruzado, la codificación automática de reducción de ruido y la traducción inversa, siguiendo los principios de la traducción automática no supervisada.

En el futuro, con mejoras en la traducción, los programadores pueden mejorar y construir fácilmente software multiplataforma sólido, como aplicaciones y juegos, utilizando una única base de código.

Comparte esta publicación

Share on facebook
Share on whatsapp
Share on telegram
Share on twitter