Google ha anunciado un nuevo proyecto ambicioso por desarrollar un modelo único de lenguaje de IA que admita las “1.000 lenguas más habladas del mundo”. Como primer paso hacia este objetivo, la compañía presenta un modelo de IA entrenado en más de 400 idiomas, que describe como “la mayor cobertura lingüística que se ve en un modelo de habla hoy”.
Sin duda, el lenguaje y la inteligencia artificial siempre han estado en el centro de los productos de Google, pero los avances recientes en el aprendizaje automático, especialmente el desarrollo de “modelos de lenguaje grandes” o LLM potentes y multifuncionales, han puesto un nuevo énfasis en estos dominios.
Google ya ha empezado a integrar estos modelos lingüísticos en productos como la Búsqueda de Google, mientras evita las críticas sobre la funcionalidad de los sistemas. Los modelos lingüísticos tienen una serie de defectos como una tendencia a regurgitar sesgos sociales nocivos como el racismo y la xenofobia, y la incapacidad para analizar el lenguaje con la sensibilidad humana. El propio Google de forma infame despidió a sus propios investigadores después de publicar artículos que describen estos problemas.
Estos modelos son capaces de realizar muchas tareas, sin embargo, desde la generación del lenguaje (como ahora GPT-3 de OpenAI) a la traducción (ver Meta No queda ninguna lengua atrás trabajo). La “Iniciativa 1.000 idiomas” de Google no se centra en ninguna funcionalidad en particular, sino en la creación de un único sistema con gran amplitud de conocimientos en todos los idiomas del mundo.
Hablando con El VirgenZoubin Ghahramani, vicepresidente de investigación de Google AI, dijo que la compañía cree que la creación de un modelo de este tamaño facilitará la aportación de diversas funcionalidades de IA a idiomas que están mal representados en los espacios online y en los conjuntos de datos de formación de IA (también conocido como “lenguas con pocos recursos”).
“Los lenguajes son como los organismos, han evolucionado unos de otros y tienen ciertas similitudes”.
“Al tener un único modelo que está expuesto y entrenado en muchos idiomas distintos, obtenemos un rendimiento mucho mejor en nuestros idiomas con pocos recursos”, dice Ghahramani. “La forma en que llegamos a 1.000 idiomas no es construyendo 1.000 modelos diferentes. Las lenguas son como los organismos, han evolucionado unos de otros y tienen ciertas similitudes. Y podemos encontrar algunos avances bastante espectaculares en lo que llamamos cero-shot learning cuando incorporamos datos de un nuevo idioma en nuestro modelo de 1.000 lenguas y obtenemos la capacidad de traducir. [what it’s learned] de una lengua de altos recursos a una lengua de pocos recursos”.
Las investigaciones anteriores han demostrado la eficacia de ese enfoque y la escala del modelo previsto de Google podría ofrecer ganancias sustanciales respecto al trabajo anterior. Estos proyectos a gran escala se han convertido en típicos de la ambición de las empresas tecnológicas de dominar la investigación en IA y aprovechar las ventajas únicas de estas empresas en términos de acceso a grandes cantidades de potencia informática y datos de formación. Un proyecto comparable es el intento en curso de la empresa matriz de Facebook Meta de construir un “traductor universal de habla.”
Sin embargo, el acceso a los datos es un problema cuando se entrena en tantos idiomas, y Google dice que para apoyar el trabajo en el modelo de 1.000 idiomas financiará la recogida de datos para idiomas con pocos recursos, incluidas las grabaciones de audio y los textos escritos. .
La empresa dice que no tiene planes directos sobre dónde aplicar la funcionalidad de este modelo, sólo que espera que tenga una variedad de usos en los productos de Google, desde Google Translate hasta subtítulos de YouTube y mucho más.
“El propio modelo de lenguaje puede convertir las órdenes de un robot en código; puede resolver problemas de matemáticas; puede realizar traducción”.
“Una de las cosas realmente interesantes de los grandes modelos lingüísticos y de la investigación lingüística en general es que pueden realizar muchas y muchas tareas diferentes”, dice Ghahramani. “El propio modelo de lenguaje puede convertir las órdenes de un robot en código; puede resolver problemas de matemáticas; puede realizar traducción. Lo más interesante de los modelos de lenguaje es que se están convirtiendo en depósitos de muchos conocimientos e, investigándolos de diferentes maneras, puede llegar a diferentes bits de funcionalidad útil”.
Google anunció el modelo de 1000 idiomas en una presentación de nuevos productos de IA. La compañía también compartió nuevas investigaciones sobre modelos de texto a vídeo, un prototipo de asistente de escritura de IA llamado Wordcraft y una actualización de su aplicación AI Test Kitchen, que ofrece a los usuarios un acceso limitado a modelos de IA en desarrollo como su texto a imagen. modelo Imagen.
