Resumen
We present YvyrAI, a Spanish-first decoder-only language model architecture centered on a recurrent module called the DeliberationBlock. A shared Transformer block is iterated within a single forward pass while a learned controller maintains a gated planning state, reads and writes a compressed latent scratchpad, re-injects the block input at every step, estimates an internal verification signal, applies a conditional repair update proportional to estimated unreliability, and decides how many iterations to spend before emitting the final hidden representation.
This version (v2.0) reports the first capability-scale training run: a 105.86M-parameter configuration trained from scratch on 891,135,906 tokens of a purpose-built Spanish corpus, using a single consumer GPU with 8 GB of VRAM. Three results are measured. First, recurrent depth helps monotonically: on the same checkpoint, held-out loss falls from 4.2465 at one iteration to 3.8975 at seven, a 29.5% reduction in perplexity (69.86 to 49.28). Second, the benefit saturates exactly at the trained depth, with identical loss from eight to sixteen iterations. Third, the learned halting controller converges to 7.4 of 8 available iterations and stays within 0.0196 nats of the forced-depth curve.
We also report a comparison against GPT-2 124M in bits per character over identical text: 1.3625 for YvyrAI against 2.2238 for GPT-2 on held-out Spanish web text. Beyond the technical contribution, YvyrAI constitutes the first language model architecture developed from first principles by a Latin American research team in the Spanish-speaking world. Weights and inference code are released at Hugging Face under Apache-2.0.
Contribuciones
Cuatro innovaciones técnicas que forman el núcleo del DeliberationBlock.
Un bloque Transformer compartido que se itera dentro de un único forward pass. Mantiene un estado de planificación con compuertas, lee y escribe un scratchpad latente comprimido, y refina la representación oculta a través de múltiples rondas antes de emitir la salida final.
Una señal escalar acotada que estima la confiabilidad del estado oculto actual dentro del bucle recurrente. Proporciona una presión de entrenamiento explícita para que el modelo sea auto-evaluativo, sin requerir un verificador externo.
Una actualización de corrección condicional cuya magnitud es proporcional a la estimación de baja confiabilidad del verificador. Se activa con más fuerza cuando el modelo estima que el estado latente actual es menos confiable.
Una cabeza de parada adaptativa que aprende a predecir cuántas rondas de refinamiento recurrente se necesitan para una secuencia dada — asignando más cómputo a razonamientos difíciles y menos a salidas formulaicas.
Arquitectura
Un backbone decoder-only convencional con un módulo de deliberación recurrente posicionado después del stack de capas. El backbone permite un baseline VanillaModel controlado.
Tokenizador BPE construido desde cero con estrategia de pre-tokenización estilo Metaspace y alfabeto sembrado con símbolos matemáticos y de programación. Diseñado para minimizar la fragmentación del español rioplatense y regional.
vocab: 24,576 (1B config) · Spanish-first · OOV audit incluidoCapas causales con RMSNorm pre-normalización, Grouped-Query Attention, RoPE, y SwiGLU. Compatible con FlashAttention. Sliding-window attention y Mixture-of-Depths como opciones para configuraciones más grandes.
GQA · RoPE · SwiGLU · RMSNorm · MoD opcionalEl bloque compartido se reutiliza a través de N rondas, incrementando la computación en tiempo de prueba sin aumentar el conteo de parámetros linealmente. Inicializado conservadoramente para comenzar cerca de un camino de refinamiento tipo identidad.
iters: 2–5 mín → 10 máx (1B) · planning state · latent scratchpadTres cabezas auxiliares coordinadas: el verificador emite una señal de confiabilidad acotada, el repair aplica la corrección condicionada en esa señal, y la cabeza de parada decide cuántas iteraciones gastar. Entrenadas con objetivos auxiliares con rampas.
verify ∈ [0,1] · repair ∝ (1 - v) · halting con warmupSeis términos coordinados: respuesta, guía, verificador, reparación, parada, y estabilidad latente. Balanceo adaptativo con EMA. PCGrad-style gradient surgery para manejar conflictos entre gradientes de distintos objetivos.
L = λ_ans + λ_gui + λ_ver + λ_rep + λ_halt + λ_latGeneración autoregresiva con control adaptativo del número de iteraciones recurrentes, trazas de deliberación opcionales para debugging, penalización de repetición, y soporte de compresión KV-cache en tiempo de inferencia.
bf16 cache · KV-cache compression · deliberation tracesCitación
Si utilizas este trabajo en tu investigación, por favor cita usando el siguiente formato BibTeX.
@misc{yvyrai2026,
title = {YvyrAI: A Spanish-First Recurrent-Deliberation Language Model
Architecture with Internal Verification, Conditional Repair,
and Adaptive Compute},
author = {Acosta Ramírez, Juan Manuel and Irrazábal Ruiz Díaz, Mauricio José},
year = {2026},
publisher = {Zenodo},
version = {2.0},
doi = {10.5281/zenodo.21985693},
url = {https://doi.org/10.5281/zenodo.21985693}
}Documento completo
El documento técnico incluye especificación matemática del bucle de deliberación, familia de modelos diseñada, plan de ablación, pipeline de datos, protocolo de evaluación y roadmap de entrenamiento.