---
title: "The Bitter Lesson: el conocimiento humano como techo"
description: "The Bitter Lesson de Sutton: el prior humano techa a la IA. AlphaGo frente a Zero, refuerzo y capacidades que emergen al escalar cómputo."
date: 2026-09-12
locale: es
url: https://escribano.dev/es/blog/017-bitter-lesson/
---
Lo conocí escuchando Inteligencia Artificial Semanal ([Spotify](https://open.spotify.com/show/48stHRcIdLoDi8WPK8JJWq), [YouTube](https://www.youtube.com/channel/UC4ewDq9cCPd9eqA88M6yvEQ), [iVoox](https://www.ivoox.com/podcast-inteligencia-artificial-semanal_sq_f12364979_1.html)). No busqué el paper. El autor suele decir, en tono humorístico, que se considera *suttonista del séptimo día*: alineado con Sutton, con *The Bitter Lesson* y con el aprendizaje por refuerzo. El podcast volvía al ensayo con naturalidad, como quien nombra una herramienta que ya da por sentada, y en algún episodio la frase encajó: el conocimiento humano, el que nos parece lo más valioso que podemos meter en un sistema, puede ser el atajo y el techo a la vez.

En marzo de 2019, [Richard Sutton](http://www.incompleteideas.net/IncIdeas/BitterLesson.html) condensó setenta años de investigación en unas pocas páginas. El título, *The Bitter Lesson*, avisa de que la conclusión no gusta. La idea es simple de enunciar y difícil de aceptar: a largo plazo ganan los métodos generales que aprovechan cómputo (búsqueda y aprendizaje). El conocimiento humano del dominio ayuda al principio, satisface a quien lo pone, y más tarde aplana la curva. A veces, la estorba.

Ese aplanamiento es lo que me interesa. No el eslogan de "más GPUs". La forma de la curva: subir más rápido con lo que ya sabemos los humanos, y acercarse de forma asintótica a un techo con forma humana.

## Qué dice el ensayo

Sutton parte de una observación histórica, no de una predicción de laboratorio. La mayor parte de la investigación en IA se ha hecho como si el cómputo disponible fuera constante. Si el presupuesto de cálculo no va a crecer, meter conocimiento humano es casi la única palanca. En un plazo un poco más largo que un proyecto típico, el coste por unidad de cómputo cae y aparece muchísimo más cálculo. Entonces la palanca que importa es otra.

Las dos estrategias no tienen por qué enemistarse. En la práctica lo hacen. El tiempo que pasas formalizando cómo crees que piensas es tiempo que no pasas en métodos que escalan cuando mañana haya diez veces más cómputo. Hay compromisos psicológicos: has invertido en un enfoque y quieres que gane. Y el enfoque "conocimiento humano" tiende a complicar los métodos de un modo que los hace peores para absorber más cálculo.

Sutton resume la lección en cuatro observaciones:

1. Los investigadores han intentado, una y otra vez, construir conocimiento dentro de los agentes.
2. Eso siempre ayuda a corto plazo, y resulta personalmente satisfactorio.
3. A largo plazo llega a una meseta e incluso inhibe el progreso.
4. El salto de verdad llega por la vía opuesta: escalar cómputo mediante búsqueda y aprendizaje.

El éxito posterior sabe amargo porque gana frente a un enfoque que el campo prefería: el centrado en el humano, el que "entiende" el dominio como lo entendemos nosotros.

La frase que deja el ensayo, y que el podcast me dejó dando vueltas, es esta: queremos agentes que puedan descubrir como nosotros, no agentes que contengan lo que ya hemos descubierto.

## Por qué es amarga

La amargura no es técnica. Es profesional y un poco identitaria.

Si tu oficio consiste en meter en el sistema cómo funciona el ajedrez, el go, la voz o la visión (las aperturas, los fonemas, los cilindros generalizados, las features que "tienen sentido"), el sistema es una extensión de tu comprensión. Cuando un método más bruto, con más búsqueda o más datos, te adelanta, la derrota no es solo de un paper. Es de una idea de qué cuenta como inteligencia.

Sutton lo cuenta sin adorno en el ajedrez. En 1997, Deep Blue venció a Kasparov con búsqueda masiva y profunda. Gran parte de la comunidad que había trabajado en comprender la estructura especial del juego no fue buena perdedora. Dijeron que la fuerza bruta había ganado esta vez, que no era una estrategia general, y que de todos modos no era así como juegan las personas. Querían que ganaran los métodos con input humano.

Ese "queríamos que ganara lo nuestro" es la parte amarga. El campo tarda en digerir que el avance haya llegado por el camino que menos se parecía a nosotros.

## Los ejemplos del ensayo

Sutton no inventa un patrón. Lo señala en cuatro frentes donde el campo ya había pagado el mismo ciclo.

| Dominio | Atajo humano | Lo que acabó escalando |
|---------|--------------|------------------------|
| Ajedrez | Comprensión de la estructura del juego, menos búsqueda | Búsqueda profunda a gran escala (Deep Blue, 1997) |
| Go | Evitar la búsqueda con conocimiento y particularidades del tablero | Búsqueda más aprendizaje por autojuego, veinte años después |
| Voz | Palabras, fonemas, tracto vocal (competición DARPA, años 70) | Métodos estadísticos (HMM) y, más tarde, deep learning |
| Visión | Bordes, cilindros generalizados, features SIFT | Redes que usan poco más que convolución e invarianzas |

En reconocimiento de voz el ciclo es especialmente limpio. Un lado llevaba conocimiento humano del lenguaje y del aparato fonador. El otro hacía más cómputo con modelos estadísticos. Ganaron los estadísticos. Durante décadas, el procesamiento del lenguaje se fue desplazando en esa dirección. El deep learning fue el siguiente paso del mismo movimiento: todavía menos conocimiento embebido, todavía más cálculo y más datos.

En visión ocurrió lo mismo con otro vocabulario. Durante años se diseñaron primitivas que imitaban cómo creíamos que veíamos. Hoy esas primitivas están fuera del camino crítico. Queda un sesgo inductivo mínimo (convolución, cierta invariancia) y el resto lo encuentra el entrenamiento.

El go, en el ensayo, es el ajedrez con veinte años de retraso. El campo gastó un esfuerzo enorme en no buscar, en aprovechar lo que los humanos ya sabían del juego. Cuando la búsqueda y el autojuego se aplicaron a escala, ese esfuerzo quedó irrelevante o peor. Sutton no entra en el detalle de las versiones de AlphaGo. El detalle es el que vuelve concreta la asíntota.

## La curva: atajo y techo

El conocimiento humano no es ruido. Es un **prior**: la creencia previa con la que partes, antes de ver datos nuevos. En estadística actualizas esa creencia con lo que observas. En IA el mecanismo es el mismo, más informal: lo que el sistema ya asume condiciona lo que puede aprender después.

Un prior bueno te coloca antes en un sitio decente. Si alimentas la red con partidas de profesionales, no empieza en el movimiento aleatorio: ya "cree", en algún sentido, que las aperturas y las buenas formas humanas son el sitio razonable. Un prior que describe cómo jugamos, hablamos o vemos los humanos también te atrae hacia ese sitio cuando el sistema podría irse más lejos.

La forma, en crudo:

| | Conocimiento humano incrustado | Búsqueda + aprendizaje |
|--|-------------------------------|-------------------------|
| Arranque | Subes rápido: imitas a los expertos | Empiezas cerca de lo aleatorio |
| Asíntota | Un techo con forma humana (estilos, features, sesgos) | La marca el cómputo y el espacio del problema |
| Efecto secundario | Métodos más complejos, peores para absorber más cálculo | Coste, y menos control sobre *qué* ha encontrado |

"Techo con forma humana" no significa "Elo de un profesional". AlphaGo, el que sí usó partidas humanas, ya era sobrehumano: le ganó a Lee Sedol. El techo no es "no puedes superar a las personas". Es la cuenca de atracción de lo que las personas ya exploraron y de cómo describieron el problema. El sistema aprende a ser un humano muy bueno, o un humano muy bueno con un poco de búsqueda extra. Le cuesta salir de esa cuenca.

Eso es lo asintótico. El atajo te acerca antes a un óptimo local que se parece a nosotros. El método que parte de menos (reglas, búsqueda, aprendizaje) tarda más en parecer inteligente y puede pasar de largo ese óptimo.

## AlphaGo y AlphaGo Zero

En 2016, [AlphaGo](https://www.nature.com/articles/nature16961) se convirtió en el primer programa que derrotaba a un campeón mundial de go. La receta mezclaba las dos estrategias. Redes neuronales entrenadas primero con aprendizaje supervisado sobre partidas de aficionados y profesionales, después con aprendizaje por refuerzo; y, en tiempo de partida, una búsqueda en árbol (MCTS) guiada por esas redes. El conocimiento humano era la rampa: miles de juegos que ya existían, un estilo, un repertorio de aperturas y de "buenas formas".

Funcionó. Fan Hui, Lee Sedol, más tarde Ke Jie. El atajo cumplió. En pocos años el go pasó de "demasiado grande para la búsqueda" a problema resuelto por encima del techo humano.

En 2017, DeepMind publicó [AlphaGo Zero](https://deepmind.google/blog/alphago-zero-starting-from-scratch/): mismo juego, otra rampa. Sin partidas humanas. Sin features de dominio más allá de las piedras en el tablero. Sin la red de política y la de valor por separado. Una sola red, búsqueda más simple, y un bucle en el que el programa es su propio profesor. Empieza en juego casi aleatorio. Juega contra sí mismo. Actualiza la red para predecir sus propias jugadas y el ganador. Vuelve a buscar. Repite.

El paper en *Nature* se titula, sin disimulo, [Mastering the game of Go without human knowledge](https://www.nature.com/articles/nature24270). Las cifras del propio equipo:

* A los tres días de autojuego, AlphaGo Zero ganó 100-0 a la versión publicada que había vencido a Lee Sedol (AlphaGo Lee).
* A los 21 días alcanzó el nivel de AlphaGo Master, el que había barrido a los mejores humanos.
* A los 40 días superaba a todas las versiones anteriores. En un match de 100 partidas, el Zero de 40 días ganó a Master 89-11.

Zero no solo llegó más alto. En tres días de autojuego había dejado atrás al AlphaGo entrenado con personas, y después siguió subiendo. El paper lo dice con la palabra que importa aquí: mejor *rendimiento asintótico* que entrenar con datos de expertos. Demis Hassabis lo resumió después: Zero ya no estaba sujeto a los límites del conocimiento humano.

Eso se vio en el tablero. Zero redescubrió joseki conocidos y luego se los saltó. Encontró jugadas que a un profesional le parecían feas y que, vistas con el resultado, eran mejores. El go humano es una biblioteca de siglos. Resultó ser una biblioteca incompleta. Entrenar contra esa biblioteca te mete en ella. Entrenar contra ti mismo te deja salir.

Hay un matiz que conviene no esconder. Zero no partía de la nada metafísica. Partía de las reglas del go, que son conocimiento humano, y de un algoritmo de búsqueda que también lo es. "Sin conocimiento humano" en el paper significa sin partidas, sin consejos de estilo y sin features de dominio. El entorno sigue escrito por personas. El contenido de la mente del agente, no.

Ese matiz no debilita la lección. La refuerza. Lo que Sutton pide dejar fuera es el catálogo de lo que ya encontramos (las jugadas buenas, las formas, los fonemas, los bordes). Lo que pide dejar dentro son los meta-métodos con los que un agente puede encontrar ese catálogo, y otro más grande, cuando haya más cómputo.

## Aprendizaje por refuerzo

Sutton no habla de un aprendizaje cualquiera. El que escala junto a la búsqueda es, en la práctica, el **aprendizaje por refuerzo** (*reinforcement learning*): el sistema prueba, recibe una señal de cómo le fue (ganó, perdió, acertó) y ajusta lo que hará la próxima vez. Nadie le dicta la jugada correcta. Le dicen, tarde o temprano, si el resultado valió.

Imitar a un humano es otra cosa. El aprendizaje supervisado parte de etiquetas que ya trajimos nosotros: esta posición se juega así porque un profesional lo hizo. Es un prior con forma de demostración. El refuerzo parte de una recompensa. Puede descubrir una línea que ningún profesional jugó, si esa línea gana.

AlphaGo usó las dos en secuencia: primero imitar partidas, después refuerzo. Zero se saltó la imitación. Por eso el paper puede hablar de mejor rendimiento asintótico: el prior humano no estaba ahí para techar su forma de jugar.

En 2026 el mismo gesto se reconoce con otros nombres. Preentrenar un modelo con texto de internet es imitar a escala (un prior humano enorme). Luego a menudo llega una fase de refuerzo: el modelo genera, se evalúa el resultado (un problema con respuesta comprobable, un juez, una señal de preferencia) y se actualiza. La lección amarga no pide un algoritmo concreto. Pide no confundir la biblioteca de ejemplos humanos con la capacidad de mejorar a partir de lo que ocurre.

## Emerger

En Inteligencia Artificial Semanal se oye mucho el verbo **emerger**. Al añadir potencia de cálculo (más parámetros, más datos, más autojuego, más búsqueda en inferencia) aparecen capacidades que nadie escribió como regla. A veces las esperabas: jugar mejor al go. A veces no: una jugada que parece fea; una habilidad que no era el objetivo del entrenamiento.

Sutton lo describe sin usar la palabra. Si metes en el agente cómo crees que piensas, el techo es esa teoría. Si metes métodos que aprovechan más cómputo, el sistema puede encontrar complejidad que no habías nombrado. El comportamiento nuevo no se añade a mano. Aparece.

Zero redescubriendo joseki y luego saltándoselos es emergencia en un tablero medible. En los modelos grandes el patrón se parece: al crecer el cómputo, el sistema hace algo que la versión diez veces más pequeña no hacía, o lo hace de un modo que nadie anticipó. Hay debate sobre si el salto es brusco o una curva suave que medíamos mal. El punto útil no cambia. Lo sorprendente es la consecuencia de no haber construido el catálogo dentro.

Emerger es el nombre que el podcast le pone a la apuesta de Sutton: queremos agentes que descubran, y el descubrimiento, visto desde fuera, parece que surgió de la nada.

## Dos métodos que escalan

Sutton nombra dos familias que siguen siendo útiles cuando el cálculo disponible se vuelve enorme: **búsqueda** y **aprendizaje**.

La búsqueda gasta cómputo en el momento de decidir: más profundidad, más simulaciones, más candidatos. El aprendizaje que tiene en mente es experiencia convertida en mejores decisiones, el bucle del refuerzo, más que copiar etiquetas. Las dos convierten "mañana habrá más cálculo" en "mañana el mismo método será mejor", sin que tengas que reescribir a mano la teoría del dominio. Y, si el método escala de verdad, lo que aparece después es lo que el podcast llama emerger.

El conocimiento incrustado no escala así. Una feature de go bien pensada en 2014 no se vuelve diez veces mejor porque el cluster sea diez veces mayor. A menudo se vuelve un estorbo: el sistema tiene que negociar con ella en lugar de usar el presupuesto extra para buscar o para aprender.

La segunda conclusión del ensayo es más seca. El contenido real de las mentes es irremediablemente complejo. Deberíamos dejar de buscar maneras simples de pensar ese contenido (el espacio, los objetos, los agentes múltiples, las simetrías) para meterlas en el agente como si fueran la esencia. Eso es el mundo, arbitrario y sin fondo. Lo que hay que construir son métodos capaces de encontrar y aproximar esa complejidad. La búsqueda de las aproximaciones buenas debería hacerla el método, no nosotros.

## Por qué importa ahora

En 2019 el ensayo se leía como un recuento: ajedrez, voz, visión, go. En 2026 se lee como el supuesto de trabajo de los laboratorios.

El coste por unidad de cómputo ha seguido cayendo, y el cómputo que un entrenamiento o una inferencia puede tragarse ha seguido subiendo. Imitar texto a escala, luego refuerzo, y gastar más cálculo por respuesta son, con otros nombres, las dos familias de Sutton. Cada vez que un modelo "razona" más tiempo y mejora, estás viendo búsqueda. Cada vez que un entrenamiento largo desplaza a un sistema lleno de reglas, estás viendo aprendizaje. Y cada vez que, al subir parámetros o cómputo, aparece una capacidad que nadie había puesto en el diseño, el podcast diría que ha emergido.

El ciclo del ensayo no se ha cerrado. Sigue siendo tentador construir cómo creemos que pensamos: arquitecturas cognitivas a mano, curricula que imitan el colegio, features que "tienen sentido", recetas de expertos inyectadas como si fueran el destino del sistema y no su primer peldaño. Ayuda. Es satisfactorio. Publica bien. Y dibuja una asíntota.

El go lo dejó medido. AlphaGo, con partidas humanas, llegó antes a un sitio que ya era sobrehumano. AlphaGo Zero, sin esas partidas, tardó un poco en parecer alguien y luego pasó de largo el sitio al que las personas (y el sistema entrenado con personas) habían llegado. El conocimiento humano fue un acelerador y un imán. El imán es el que techa.

Sutton no pide despreciar lo que sabemos. Pide no confundirlo con el contenido que el agente debería llevar dentro. Las reglas, la evaluación, el criterio de si algo importa: eso puede seguir siendo nuestro. El catálogo de soluciones, el "así se juega", el "así se ve", el "así se habla", es un óptimo local que se siente como llegada.

Lo amargo es identitario: nos gusta ser la fuente. La apuesta del ensayo es otra. Meter en el sistema la capacidad de descubrir, no la biblioteca de lo ya descubierto. El podcast me lo dejó dicho de pasada, entre la broma del suttonista del séptimo día y el verbo emerger. El tablero de Zero, con 100-0, lo dejó escrito en resultado.