Investigación
Le dimos al modelo tiempo para pensar.
La mayoría de los modelos mejoran creciendo: más tamaño, más datos. El nuestro además puede mejorar pensando más, sin crecer.
Cuatro cosas pasan antes de cada palabra.
Planifica.
gated planning stateArma un plan interno y lo va actualizando.
Repasa.
shared recurrent blockPasa varias veces por el mismo bloque y refina lo que tiene.
Se revisa.
internal verifier · conditional repairEstima qué tan confiable es su propio estado, y corrige con más fuerza cuando duda.
Decide cuándo parar.
adaptive haltingElige solo cuántas vueltas necesita cada palabra.
El bloque se llama DeliberationBlock. Es lo que diseñamos nosotros. Las piezas de base (atención, normalización, activaciones) son las estándar del campo: no inventamos cada pieza, inventamos la combinación.
Lo que medimos.
Cuanto más piensa, menos duda.
Ver los datos
| Vueltas | Vueltas fijas | Parada adaptativa | Vueltas usadas (promedio) |
|---|---|---|---|
| 1 | 69,86 | 69,86 | 1,00 |
| 2 | 54,94 | 54,96 | 2,00 |
| 3 | 51,31 | 51,97 | 3,00 |
| 4 | 50,01 | 50,81 | 4,00 |
| 5 | 49,46 | 50,35 | 5,00 |
| 6 | 49,30 | 50,23 | 6,00 |
| 7 · óptimo | 49,28 | 50,25 | 7,00 |
| 8 | 49,28 | 50,25 | 7,38 |
| 9 | 49,28 | 50,25 | 7,39 |
| 10 | 49,28 | 50,25 | 7,40 |
| 11 | 49,28 | 50,25 | 7,41 |
| 12 | 49,28 | 50,25 | 7,41 |
| 13 | 49,28 | 50,25 | 7,41 |
| 14 | 49,28 | 50,25 | 7,41 |
| 15 | 49,28 | 50,25 | 7,41 |
| 16 | 49,28 | 50,25 | 7,41 |
Mismo modelo, misma prueba. De una a siete vueltas la perplejidad baja de 69,86 a 49,28. Después se estabiliza, sin empeorar. Cuando lo dejamos decidir solo, usa en promedio 7,4 vueltas de las 8 con las que fue entrenado.
Conjunto de prueba GSM8K en español, 192 ejemplos, no vistos en el entrenamiento.
El 10 % del modelo hace el 40 % del trabajo.
- Parámetros que son deliberación10 %
- Cómputo que es deliberación (con 8 vueltas)40 %
La deliberación es una parte chica de los parámetros y una parte grande del cómputo. Esa es la apuesta: conseguir calidad con cómputo, que abunda, en lugar de con memoria, que escasea.
Es la hipótesis que estamos probando, no una conclusión.
Más español en cada token.
- YvyrAI Nano4,25 caracteres por token
- GPT-22,92 caracteres por token
Nuestro tokenizer guarda 4,25 caracteres de español por token; el de GPT-2, 2,92. Un 46 % más de texto en el mismo espacio.
Fuerte en su idioma.
Ver los datos
| Conjunto | YvyrAI Nano | GPT-2 124M |
|---|---|---|
| Español (web, held-out) | 1,3625 | 2,2238 |
| Inglés (Wikipedia) | 2,0078 | 1,0280 |
Bits por carácter (menos es mejor), mismo texto para los dos modelos.
En español nuestro modelo comprime mejor que GPT-2 124M con unas 11 veces menos datos. En inglés, GPT-2 gana con claridad.
Esto muestra especialización en español (corpus y tokenizer propios), no que la arquitectura sea superior.
Lo que falta probar.
Falta la comparación justa: nuestra arquitectura contra un modelo convencional del mismo tamaño, con los mismos datos y el mismo presupuesto. La vamos a correr sobre el próximo modelo, no sobre este, porque en el actual el verificador quedó chico y la comparación mediría ese límite y no la idea. Hasta que esa prueba exista, no decimos que esta arquitectura le gana a una convencional.
Publicación
YvyrAI: A Spanish-First Recurrent-Deliberation Language Model Architecture with Internal Verification, Conditional Repair, and Adaptive Compute
Juan Manuel Acosta Ramírez y Mauricio José Irrazábal Ruiz Díaz · Versión 2.0 · 17 de agosto de 2026 · Zenodo · CC BY 4.0 · DOI 10.5281/zenodo.20533759
Antes de decir que somos los primeros, lo comprobamos.
Auditoría