¿Cómo aprende una IA qué significa «responder bien»?
Pide a una inteligencia artificial que explique la gravedad a un niño de ocho años.
Puede generar una respuesta científicamente correcta pero incomprensible. Otra muy sencilla pero inexacta. Otra perfecta para un estudiante universitario.
¿Cuál es «mejor»?
Aquí tenemos un problema interesante: no existe una fórmula matemática sencilla que pueda decidirlo siempre.
Necesitamos personas.
Y ahí aparece el RLHF, siglas de *Reinforcement Learning from Human Feedback*, que podemos traducir como aprendizaje por refuerzo a partir de feedback o retroalimentación humana.
En TRIDIOM nos interesa especialmente porque existe un punto en el que inteligencia artificial y lingüística se encuentran de frente: alguien tiene que valorar si un texto funciona para una persona real.
Qué es RLHF sin convertir esto en una clase de ingeniería
Vamos a simplificarlo mucho.
Un modelo de lenguaje aprende inicialmente a partir de enormes cantidades de texto. Eso le permite detectar patrones y generar lenguaje.
Pero saber producir frases no equivale a saber seguir bien una instrucción.
Una de las aproximaciones utilizadas para mejorar ese comportamiento consiste en enseñar al modelo ejemplos creados o evaluados por personas. En el trabajo de OpenAI sobre InstructGPT, por ejemplo, se recopilaron demostraciones humanas y comparaciones entre distintas respuestas del modelo. Esas preferencias se utilizaron después para entrenar un modelo de recompensa y ajustar el comportamiento del sistema.
La idea esencial es bastante intuitiva: la máquina genera opciones y los humanos ayudan a indicar cuáles se acercan más al comportamiento buscado.
¿Qué hace realmente una persona en ese proceso?
Imagina que una IA recibe esta instrucción:
«Explícame qué es la inflación en tres frases para alguien que nunca ha estudiado economía».
Genera dos respuestas.
La primera es técnicamente impecable, pero utiliza «contracción monetaria», «índice deflactor» y «masa monetaria».
La segunda explica que, si los precios suben mientras nuestros ingresos permanecen igual, podemos comprar menos cosas con el mismo dinero.
¿Qué respuesta satisface mejor la petición?
Para decidirlo no basta con contar errores ortográficos. Hay que entender la intención del usuario, el significado, el nivel de lenguaje, el contexto, la claridad y el tono.
Ese tipo de juicio explica por qué el componente humano sigue teniendo tanto peso.
Aquí los lingüistas tienen bastante que decir
Quienes trabajamos con idiomas hacemos este tipo de evaluación continuamente.
Cuando revisamos una traducción en TRIDIOM, no preguntamos solamente: «¿Está correctamente escrita?».
También preguntamos: «¿Significa realmente lo mismo?», «¿suena natural?», «¿mantiene el registro?», «¿este término es coherente con los anteriores?» o «¿un hablante de este país entendería la referencia?».
Son preguntas muy parecidas a muchas de las que aparecen cuando hay que evaluar contenido generado por inteligencia artificial.
Esto no significa que traducir y entrenar modelos de IA sean la misma profesión. No lo son. Pero sí comparten una materia prima bastante complicada: el lenguaje humano.
Una IA puede producir una respuesta correcta y seguir siendo una mala respuesta
Esta es quizá la parte más interesante del RLHF.
Supongamos que preguntamos: «¿Puedes resumirme esta cláusula contractual en un lenguaje que pueda entender una persona sin formación jurídica?».
El modelo devuelve una explicación jurídicamente fiel, pero más complicada que el contrato.
¿Ha fallado?
Sí, porque no ha seguido realmente la intención del usuario.
En trabajos pioneros sobre ajuste mediante feedback humano se observó que evaluadores humanos podían preferir las respuestas de modelos ajustados para seguir instrucciones frente a las de modelos mucho mayores sin ese mismo tipo de ajuste.
Eso demuestra algo que en TRIDIOM nos resulta muy familiar: más no siempre significa mejor.
Un texto más largo no es necesariamente mejor. Una traducción más literal tampoco. Y un modelo más grande no garantiza por sí solo que entienda mejor qué queremos de él.
El feedback humano tampoco es perfecto
Aquí viene la parte menos cómoda.
Los humanos tampoco estamos de acuerdo siempre.
Dos personas pueden preferir respuestas diferentes. Una expresión puede sonar natural en Madrid y extraña en Ciudad de México. Un tono que una persona considera amable puede parecer excesivamente informal a otra. Y determinadas preguntas implican valores, culturas o interpretaciones distintas.
El feedback puede ser subjetivo, ruidoso y heterogéneo. Por eso la calidad de quienes evalúan importa. También importan las instrucciones que reciben.
En traducción lo conocemos bien. Si entregamos el mismo texto a cinco revisores sin explicar público, finalidad ni guía de estilo, podemos conseguir cinco opiniones diferentes.
En TRIDIOM llamamos a eso falta de especificaciones. En IA el problema se parece bastante.
Entonces, ¿RLHF es lo que hace que una IA sea «inteligente»?
No exactamente.
Es una técnica dentro de un proceso de entrenamiento mucho más amplio.
Además, la investigación en inteligencia artificial avanza muy rápido y existen otros métodos de optimización mediante preferencias, feedback de IA, recompensas verificables y sistemas que no utilizan exactamente el flujo clásico de RLHF.
Por eso no conviene utilizar RLHF como sinónimo de «entrenamiento de una IA».
Es solo una parte de la historia.
Pero es una parte fascinante porque nos recuerda algo: cuando queremos que una máquina se comunique mejor con personas, acabamos necesitando estudiar cómo las personas interpretamos el lenguaje.
Preguntas frecuentes
¿Qué significan las siglas RLHF?
*Reinforcement Learning from Human Feedback*: aprendizaje por refuerzo a partir de retroalimentación humana.
¿Las personas escriben las respuestas que luego da la IA?
No de forma directa. Dependiendo del proceso, pueden proporcionar ejemplos, evaluar respuestas o expresar preferencias. Esa información sirve para ajustar el comportamiento del modelo.
¿Por qué son importantes los lingüistas en la evaluación de IA?
Porque muchas tareas requieren analizar significado, naturalidad, registro, coherencia, contexto cultural y adecuación al usuario, no solo detectar errores formales.
Las máquinas producen lenguaje; las personas seguimos interpretándolo
En TRIDIOM trabajamos cada día en esa frontera.
Recibimos textos humanos, traducciones automáticas, contenidos generados por IA y documentos que combinan varias tecnologías. Y, al final, siempre aparece la misma pregunta:
¿Esto funciona para quien va a leerlo?
El RLHF lleva esa pregunta al propio entrenamiento de los modelos.
Quizá por eso resulta tan interesante para quienes nos dedicamos profesionalmente al lenguaje. La inteligencia artificial está cambiando nuestras herramientas, pero también está haciendo más visible algo que los traductores sabemos desde hace mucho tiempo: entender palabras no es suficiente. Hay que entender a las personas.
