Resumen
We present YvyrAI, a Spanish-first decoder-only language model architecture centered on a recurrent module called the DeliberationBlock. Rather than treating scale only as parameter count, YvyrAI is designed to expose a second axis of scaling: internal test-time computation. A shared Transformer block is iterated within a single forward pass while a learned controller maintains a gated planning state, reads and writes a compressed latent scratchpad, estimates an internal verification signal, applies a conditional repair update proportional to estimated unreliability, and decides how many iterations should be spent before emitting the final hidden representation.
Around this core, the system combines a novel recurrent-deliberation framework with several state-of-the-art language-model technologies, including Grouped-Query Attention (GQA), RoPE positional embeddings, SwiGLU activations, RMSNorm, optional Mixture-of-Depths routing, sliding-window attention, low-precision training support, and inference-time KV-cache compression, a Spanish-first data pipeline, a multi-term training objective, and an implemented Spanish evaluation harness.
The contribution is architectural and methodological. YvyrAI is not reported here as a trained high-capability model, and this paper does not claim superiority over existing systems. Large-scale training and benchmarking remain future work. Beyond the technical contribution, YvyrAI constitutes the first language model architecture developed from first principles by a Latin American research team in the Spanish-speaking world, positioned as the research and intelligence complement to Paraguay's emerging AI infrastructure strategy.
Contribuciones
Cuatro innovaciones técnicas que forman el núcleo del DeliberationBlock.
Un bloque Transformer compartido que se itera dentro de un único forward pass. Mantiene un estado de planificación con compuertas, lee y escribe un scratchpad latente comprimido, y refina la representación oculta a través de múltiples rondas antes de emitir la salida final.
Una señal escalar acotada que estima la confiabilidad del estado oculto actual dentro del bucle recurrente. Proporciona una presión de entrenamiento explícita para que el modelo sea auto-evaluativo, sin requerir un verificador externo.
Una actualización de corrección condicional cuya magnitud es proporcional a la estimación de baja confiabilidad del verificador. Se activa con más fuerza cuando el modelo estima que el estado latente actual es menos confiable.
Una cabeza de parada adaptativa que aprende a predecir cuántas rondas de refinamiento recurrente se necesitan para una secuencia dada — asignando más cómputo a razonamientos difíciles y menos a salidas formulaicas.
Arquitectura
Un backbone decoder-only convencional con un módulo de deliberación recurrente posicionado después del stack de capas. El backbone permite un baseline VanillaModel controlado.
Tokenizador BPE construido desde cero con estrategia de pre-tokenización estilo Metaspace y alfabeto sembrado con símbolos matemáticos y de programación. Diseñado para minimizar la fragmentación del español rioplatense y regional.
vocab: 24,576 (1B config) · Spanish-first · OOV audit incluidoCapas causales con RMSNorm pre-normalización, Grouped-Query Attention, RoPE, y SwiGLU. Compatible con FlashAttention. Sliding-window attention y Mixture-of-Depths como opciones para configuraciones más grandes.
GQA · RoPE · SwiGLU · RMSNorm · MoD opcionalEl bloque compartido se reutiliza a través de N rondas, incrementando la computación en tiempo de prueba sin aumentar el conteo de parámetros linealmente. Inicializado conservadoramente para comenzar cerca de un camino de refinamiento tipo identidad.
iters: 2–5 mín → 10 máx (1B) · planning state · latent scratchpadTres cabezas auxiliares coordinadas: el verificador emite una señal de confiabilidad acotada, el repair aplica la corrección condicionada en esa señal, y la cabeza de parada decide cuántas iteraciones gastar. Entrenadas con objetivos auxiliares con rampas.
verify ∈ [0,1] · repair ∝ (1 - v) · halting con warmupSeis términos coordinados: respuesta, guía, verificador, reparación, parada, y estabilidad latente. Balanceo adaptativo con EMA. PCGrad-style gradient surgery para manejar conflictos entre gradientes de distintos objetivos.
L = λ_ans + λ_gui + λ_ver + λ_rep + λ_halt + λ_latGeneración autoregresiva con control adaptativo del número de iteraciones recurrentes, trazas de deliberación opcionales para debugging, penalización de repetición, y soporte de compresión KV-cache en tiempo de inferencia.
bf16 cache · KV-cache compression · deliberation tracesCitación
Si utilizas este trabajo en tu investigación, por favor cita usando el siguiente formato BibTeX.
@article{acosta2026yvyrai,
title = {YvyrAI: A Spanish-First Recurrent-Deliberation Language
Model Architecture with Internal Verification,
Conditional Repair, and Adaptive Compute},
author = {Acosta Ramirez, Juan Manuel and
Irrazabal Ruiz Diaz, Mauricio Jose},
year = {2026},
institution = {YvyrAI Research Project, Paraguay},
url = {https://yvyrai.lat/paper},
note = {Corresponding author: admin@yvyrai.lat}
}Documento completo
El documento técnico incluye especificación matemática del bucle de deliberación, familia de modelos diseñada, plan de ablación, pipeline de datos, protocolo de evaluación y roadmap de entrenamiento.