Chinchilla (DeepMind): Un Desafío al Modelo GPT3 Desarrollado por DeepMind

Chinchilla AI es un gran modelo de lenguaje natural desarrollado por DeepMind. La versión original fue lanzada en marzo de 2022 y su tecnología se basa en los mismos principios que otros modelos similares, como el GPT-3, con la diferencia de los parámetros de entrenamiento y el tamaño de los datos. DeepMind afirma que para la eficiencia computacional en el entrenamiento, el tamaño del modelo y el tamaño del conjunto de datos de entrenamiento deben escalar por igual: a medida que el tamaño del modelo se multiplica por dos, el tamaño del conjunto de datos de entrenamiento también debe duplicarse. Chinchilla AI pone a prueba este supuesto utilizando el mismo presupuesto computacional que Gopher pero con 70B parámetros y 4 veces más datos para entrenar un modelo más optimizado, Chinchilla. Los resultados muestran que Chinchilla supera de manera uniforme y significativa a Gopher, GPT-3, Jurassic-1 y Megatron-Turing NLG en una amplia gama de tareas de evaluación posteriores. Chinchilla tiene una precisión media del 67,5% en la prueba de referencia MMLU, más de un 7% superior a Gopher.

 Curiosamente, el ChatGPT de OpenAI basado en el modelo GPT-3 ha arrasado en todo el mundo desde su lanzamiento, alcanzando los 100 millones de usuarios en sólo 2 meses. Actualmente, Chinchilla AI no tiene ningún producto destacado, y está claro que DeepMind necesita demostrar al público sus anteriores alardes.

Precio: Ninguno
Etiqueta: Chatbot AI