Microsoft anunció el lanzamiento de Phi-2, un modelo de lenguaje pequeño (SLM) capaz de superar a Llama 2 de Meta, Gemini de Google y otros competidores. Desarrollado por Microsoft Research, el modelo demostró excelentes capacidades de razonamiento y comprensión del lenguaje.
Microsoft cree que SLM puede acercarse a LLM
Los investigadores han llevado a cabo varias pruebas y han descubierto que funciona mejor que Meta AI y Google AI en algunas tareas.
El Phi-2 es parte de una familia de modelos basados en transformadores que tienen un menor número de parámetros. Según Microsoft, la idea detrás de su desarrollo se basa en la premisa de que es posible lograr un rendimiento superior cerca de modelos más amplios, como el Llama o el Mistral.
Para que os hagáis una idea de la escala, Phi-2 tiene 2.700 millones de parámetros, mientras que GPT-4 tendría alrededor de 1,7 billones.
A pesar de esta limitación, la IA de Microsoft Iguala o supera modelos hasta 25 veces más grandes. En una serie de pruebas de matemáticas y programación, el Phi-2 obtuvo mejores resultados que el Llama 2 de Meta. Los creadores fueron más allá y lo enfrentaron al Gemini Nano 2, donde logró resolver problemas de física de manera similar a la IA de Google.
Con sólo 2.700 millones de parámetros, Phi-2 supera a los modelos Mistral y Llama-2 en los parámetros 7B y 13B en varios puntos de referencia. En particular, logra un mejor rendimiento en comparación con el modelo Llama-2-70B, 25 veces superior, en tareas de razonamiento de varios pasos, es decir, codificación y matemáticas.
Mencionaron a los programadores.
¿Cómo fue posible obtener estos resultados con menos parámetros?
El secreto está en el entrenamiento... Phi-2 fue entrenado con un conjunto de datos que incluye textos sintéticos de PNL, subconjuntos de códigos obtenidos de Stack Overflow, competencias de programación y más.
Microsoft mencionó que la calidad de los datos de entrenamiento juega un papel clave en el rendimiento del modelo. A diferencia de GPT-4, Microsoft selecciona datos web que se filtran según su valor educativo.
Nuestra combinación de datos de entrenamiento contiene conjuntos de datos sintéticos creados específicamente para enseñarle a su modelo razonamiento con sentido común y conocimientos generales, incluida la ciencia, las actividades diarias, la teoría de la mente y más.
El entrenamiento de Phi-2 duró 14 días y utilizó 96 tarjetas gráficas NVIDIA A100. Aunque no se realizaron mejoras adicionales, SLM ofrece menos toxicidad y sesgo de respuesta en comparación con Llama 2. Microsoft Research afirmó haber realizado pruebas exhaustivas con referencias académicas.
Lamentablemente, Phi-2 sólo estará disponible para proyectos de investigación. SLM se ofrecerá como parte de Azure AI Studio para fomentar el desarrollo de modelos de lenguaje. La licencia actual no permite su uso en aplicaciones comerciales, como ChatGPT...
Lee también...
