Fine-tuning
Adaptamos modelos pequeños de lenguaje a tu dominio, tu tono y tus tareas concretas.
PEDIR DIAGNÓSTICOQué es el fine-tuning
El fine-tuning consiste en seguir entrenando un modelo de lenguaje que ya existe con ejemplos propios, para que resuelva mejor una tarea concreta. El modelo conserva lo que sabía y aprende el vocabulario, el formato y el criterio de esos ejemplos. Con modelos pequeños, el resultado puede ser un modelo especializado más barato y rápido de ejecutar que uno general de gran tamaño.
Fine-tuning, RAG o un buen prompt
Prompt
Las instrucciones guían al modelo sin modificarlo. Es lo más rápido de probar y el primer paso razonable.
RAG
Da al modelo acceso a tus documentos en el momento de responder, sin cambiar el modelo. Es lo adecuado cuando la información cambia a menudo o hay que citar la fuente.
Fine-tuning
Cambia de forma duradera cómo se comporta el modelo: su estilo, su formato de salida y su criterio en una tarea. No es una forma fiable de añadirle datos nuevos.
Combinados
Es habitual usar los dos: fine-tuning para el comportamiento y RAG para el conocimiento actualizado.
A qué se adapta
Dominio
El vocabulario y los conceptos de tu sector o de tu empresa.
Tono
La forma de escribir y de responder que usa tu equipo.
Tareas concretas
Un trabajo acotado y repetido, en lugar de responder de todo.
Ejemplos de lo que ya hemos hecho
Tono de la empresa
Un modelo que redacta respuestas con el estilo y el vocabulario de la empresa.
Clasificación
Un modelo que clasifica correos, incidencias o documentos en las categorías que usa la empresa.
Vocabulario de un sector
Un modelo adaptado a la terminología de un ámbito concreto, como el jurídico, el médico o el industrial.
Extracción de datos
Un modelo que extrae campos concretos de textos con el formato propio de la empresa.
Resúmenes con estructura fija
Un modelo que resume informes o actas largas siempre con el mismo esquema.
Modelo ligero y local
Un modelo pequeño que se ejecuta en la infraestructura de la empresa para tareas repetitivas.
Cuándo ayuda
Cuando una tarea se repite mucho, tiene un formato de salida estable y existen ejemplos de cómo se resuelve bien. También cuando interesa un modelo pequeño por coste, por velocidad o por dónde debe ejecutarse.
Cuándo no compensa
- Hacen falta ejemplos propios y de calidad. Con pocos datos, o con datos malos, el resultado no mejora.
- A veces basta un modelo general con buenas instrucciones o con acceso a tus documentos. Si es así, es la opción más simple.
- Un modelo ajustado hay que volver a evaluarlo cuando cambian los datos o la tarea.
- El fine-tuning enseña comportamiento, no hechos. Para información que cambia, el modelo necesita acceso a los documentos.
- Un modelo ajustado puede memorizar sus ejemplos y fallar con casos nuevos, o perder capacidades generales que tenía. Por eso se evalúa con ejemplos que no ha visto.
- Si los ejemplos contienen datos personales, se aplica la normativa de protección de datos. Conviene anonimizarlos antes de entrenar.
PREGUNTAS FRECUENTES
¿Qué es el fine-tuning?
Consiste en seguir entrenando un modelo de lenguaje que ya existe con ejemplos propios, para que resuelva mejor una tarea concreta.
¿Qué hace falta para hacer fine-tuning?
Ejemplos propios y de calidad de cómo se resuelve bien la tarea. Con pocos datos, o con datos malos, el resultado no mejora.
¿Con qué modelos base hacéis fine-tuning?
Trabajamos con modelos como Qwen, Mistral y Llama. La elección depende de la tarea, del idioma y de la licencia.
¿Cuándo no compensa el fine-tuning?
Cuando un modelo general con buenas instrucciones o con acceso a tus documentos ya resuelve la tarea. En ese caso es la opción más simple.
¿Fine-tuning o RAG?
Responden a problemas distintos. El RAG da al modelo acceso a tus documentos y sirve cuando la información cambia o hay que citar la fuente. El fine-tuning cambia cómo se comporta el modelo: su tono, su formato y su criterio en una tarea. Se pueden combinar.
¿Cuántos ejemplos hacen falta para hacer fine-tuning?
No hay una cifra única: depende de la tarea. Se puede empezar a evaluar con unas decenas de ejemplos bien elaborados, y un resultado estable suele pedir cientos o más. Pesa más la calidad que la cantidad.
¿El fine-tuning añade conocimiento nuevo al modelo?
No de forma fiable. Enseña patrones de comportamiento, formato y estilo, no hechos que se puedan consultar. Para que el modelo responda con información actualizada hay que darle acceso a los documentos.
¿Hay que volver a entrenar el modelo entero?
No necesariamente. Técnicas como LoRA ajustan solo una pequeña parte de los parámetros del modelo, lo que reduce el coste de cómputo y permite trabajar con equipos más modestos.
¿De quién es el modelo ajustado?
Queda en manos del cliente. Su uso sigue sujeto a la licencia del modelo base sobre el que se ha ajustado, que conviene revisar.
¿De qué depende el coste del fine-tuning?
Menos del cómputo que de preparar los datos y evaluar el resultado. Reunir, limpiar y revisar los ejemplos suele ser la parte más laboriosa del proyecto.
De tus ejemplos a tu modelo
Empezamos con una prueba de concepto sobre datos reales y solo escalamos si hay valor demostrado.