Glosario de IA Models & Architecture
¿Qué es el aprendizaje por refuerzo?
← Todos los términos del glosarioForma de entrenar a un agente por prueba y error: actúa, recibe recompensas o penalizaciones y aprende a maximizar la recompensa total a lo largo del tiempo.
Explicación
El aprendizaje por refuerzo (RL, por sus siglas en inglés) es una rama del machine learning en la que un agente aprende interactuando con un entorno. En cada paso observa la situación, toma una acción y recibe una recompensa o una penalización; tras muchos intentos aprende una política que maximiza la recompensa acumulada. A diferencia del aprendizaje supervisado, nadie le da la respuesta correcta en cada caso: tiene que descubrir qué acciones compensan, a veces mucho después. Se usa en robótica, juegos, control y optimización, y una variante con feedback humano es un paso clave en el entrenamiento de los modelos de chat actuales.
Cómo funciona
- Agente: el sistema que toma decisiones.
- Entorno: el mundo en el que actúa, real o simulado.
- Estado: lo que el agente observa en cada momento.
- Acción: lo que puede hacer.
- Recompensa: la señal que le dice lo bueno que ha sido el resultado.
- Política: la estrategia que aprende, que asigna acciones a estados.
Una tensión central es explorar o explotar: el agente tiene que probar acciones nuevas para encontrar otras mejores, sin dejar de usar lo que ya funciona.
Aprendizaje por refuerzo con feedback humano
Los grandes modelos de lenguaje se preentrenan primero para predecir texto, y eso no los convierte en buenos asistentes. En el aprendizaje por refuerzo con feedback humano (RLHF), personas ordenan varias respuestas del modelo, un modelo de recompensa aprende esas preferencias y después el RL ajusta el modelo de lenguaje para que dé respuestas mejor puntuadas.
OpenAI usó este enfoque para entrenar InstructGPT, el predecesor de los modelos de ChatGPT. Variantes suyas, y otras formas de aprender de preferencias, son hoy habituales al entrenar modelos de chat y agentes.
Dónde se usa en la empresa
- Operaciones y control: gestión energética, procesos industriales, logística.
- Recomendación y personalización, cuando las acciones influyen en el comportamiento futuro.
- Precios, pujas y reparto de recursos.
- Robótica y sistemas autónomos, normalmente entrenados primero en simulación.
- Entrenamiento y mejora de modelos y agentes de IA.
El RL necesita una recompensa clara y muchos intentos, así que encaja en problemas que se pueden simular o que dan feedback frecuente. Una recompensa mal diseñada puede llevar al agente a optimizar lo que no es.
Preguntas frecuentes
¿Qué es el aprendizaje por refuerzo en pocas palabras?
Es aprender por prueba y error. El sistema prueba acciones, recibe una puntuación por cada resultado y va aprendiendo qué decisiones llevan a los mejores resultados con el tiempo, igual que una persona aprende un juego jugando.
¿Qué diferencia hay entre aprendizaje por refuerzo y aprendizaje supervisado?
En el supervisado, el modelo aprende de ejemplos etiquetados con la respuesta correcta. En el aprendizaje por refuerzo no hay respuestas etiquetadas: el agente recibe recompensas por sus acciones y tiene que averiguar qué secuencia de acciones da la mejor recompensa total.
¿Qué es el RLHF?
RLHF son las siglas en inglés de aprendizaje por refuerzo con feedback humano. Personas comparan respuestas del modelo, un modelo de recompensa aprende sus preferencias y el aprendizaje por refuerzo ajusta el modelo de lenguaje para que se adapte a ellas. Sirve para que los modelos de chat sean más útiles y sigan mejor las instrucciones.
¿ChatGPT se entrena con aprendizaje por refuerzo?
Sí, en parte. Sus modelos se preentrenan con grandes cantidades de texto y después se afinan con ajuste supervisado y aprendizaje por refuerzo con feedback humano, siguiendo el enfoque que OpenAI describió para InstructGPT.
Para seguir leyendo
Términos relacionados
Fuentes
- Sutton y Barto · Reinforcement Learning: An Introduction, 2.ª edición, MIT Press (en inglés)
- Ouyang et al. · Training language models to follow instructions with human feedback, arXiv (en inglés)
- OpenAI Spinning Up · Part 1: Key Concepts in RL (en inglés)
Actualizado: 2026-10-21