🤖 IA Weekly Digest #3 — Semana 28, 2026

Compilado el 10 de julio de 2026

Esta semana el subreddit ha explotado con una pregunta que nos hacemos todos: ¿cuál es la mejor GPU de 32GB para IA local sin pagar el impuesto NVIDIA? Tres tarjetas compiten — una vieja gloria de datacenter rescatada del mercado chino, la apuesta de Intel con Xe2, y la respuesta de AMD con RDNA 4. Las hemos puesto cara a cara con benchmarks reales, porque cuando hablamos de gastarse $1.000 en hardware, las opiniones sin números no valen.

🔝 Lo más importante de la semana

1. Cómo hostear cualquier modelo GGUF abierto detrás de una API

Qué ha pasado: El hilo más votado de la semana es una queja convertida en solución colectiva: tienes un modelo en Hugging Face que funciona de maravilla en Ollama o llama.cpp, pero cuando quieres usarlo desde una app, no hay API hosteada para él. La comunidad ha volcado soluciones: FastLLM como wrapper ligero, Ollama + OpenWebUI con proxy inverso, self-host con vLLM para modelos que lo soportan, y adaptadores personalizados para los que no.
Por qué importa: Este es el último metro del camino hacia la soberanía digital con IA. Ya tenemos modelos abiertos competitivos. Ya tenemos hardware capaz de correrlos. Lo que faltaba era el pegamento para conectarlos a nuestras herramientas diarias sin depender de APIs de terceros. Este hilo es un mapa de ese territorio.
Para quién importa: Cualquiera que haya pensado «este modelo es genial, pero ¿cómo lo uso desde mi app?» — desarrolladores montando productos con modelos locales, equipos migrando desde APIs cloud, y el creciente ejército de self-hosters.
🔗 Reddit

2. Cuánta VRAM necesitas para cada «tamaño» de modelo

Qué ha pasado: Un hilo brillante desglosa los nichos reales de tamaños de modelo (30B-35B, 70B-72B, 120B+, MoE vs denso) y qué hardware necesitas para cada uno. La conclusión clave: no es solo cuánta VRAM tienes, sino la combinación de GPU consumer vs profesional, cuantizaciones, y parallelism. Un modelo de 35B en Q4 puede caber en 20 GB… o no, según el overhead de display, KV cache, y el backend que uses.
Por qué importa: Demasiada gente compra hardware siguiendo la regla de «VRAM = tamaño del modelo × 1.2» y luego descubre que no le cabe. Este hilo te ahorra ese error. Si estás planeando tu rig de IA ahora mismo, léelo antes de comprar.
Para quién importa: Builders de rigs de IA local, cualquiera que esté comparando GPUs, y los que se preguntan si necesitan 24 GB o 32 GB para su caso de uso.
🔗 Reddit

3. Optimizaciones ggml de la semana: ARM NVFP4 + FP-fast-math en HIP

Qué ha pasado: Dos pull requests a llama.cpp que mejoran la velocidad de inferencia en hardware no-NVIDIA. El primero añade soporte de LUT UE4M3 en productos punto NVFP4 para procesadores ARM. El segundo activa -ffast-math para builds HIP en AMD. Son cambios pequeños, del tipo que no salen en titulares, pero que se acumulan.
Por qué importa: llama.cpp mejora por goteo constante, no por saltos revolucionarios. Estos PRs son el tipo de contribuciones que, sumadas a las de semanas anteriores, convierten una GPU «no recomendada para IA» en una opción viable. Cada punto porcentual de optimización cuenta cuando tu hardware no tiene CUDA.
Para quién importa: Usuarios de ARM (Apple Silicon, Raspberry Pi 5+, Snapdragon X) y AMD, mantenedores de llama.cpp, y cualquiera que compile su propio stack de inferencia.
🔗 ARM NVFP4 · HIP FP-fast-math

🔧 Especial Hardware: La batalla de las GPUs 32GB sin CUDA

Esta sección es nueva. La semana pasada varios hilos — y la conversación con lectores — giraron alrededor de la misma pregunta: ¿qué GPU de 32GB compro si no quiero pagar el impuesto NVIDIA? Hemos hecho la comparativa con datos reales de benchmarks independientes.

Las tres contendientes

Rendimiento real en LLMs (datos de benchmarks independientes)

Single card:
– B70 — Qwen 3.6-35B-A3B Q4: 54.7 t/s generación, 615 t/s prefill. SYCL. 🔗 PMZFX benchmarks
– R9700 — gpt-oss:20b MoE: 102.4 t/s. Ollama + ROCm. 🔗 Hostkey review
– MI50 — Qwen 3.5-35B-A3B Q8: 35.5 t/s. llama.cpp ROCm. 🔗 Diego Strebel

El as bajo la manga de la MI50 — multi-GPU barato:
Cuatro MI50 usadas = 128 GB VRAM por ~$800-1.000. Con eso puedes:
– Qwen3 235B (sí, 235 mil millones) a ~20 t/s — imposible en cualquier GPU de consumo
– Qwen3-Coder-Next 80B Q4 a 28.6 t/s en 4 tarjetas
– Llama 2 70B a ~35 t/s

Eso sí: refrigeración pasiva (necesitas ventiladores externos o rack con airflow), sin salidas de vídeo (es una aceleradora de datacenter pura), y ROCm para Vega 20 está perdiendo soporte oficial. Es un proyecto de bricolaje, no un producto de consumo.

¿Generación de vídeo?

• B70: ✅ LTX-Video vía OpenVINO hasta 1280×704 (29s para clip de 2s). Wan 2.2 5B hasta 832×480. 720p OOM.
• R9700: ✅ ComfyUI estándar con ROCm. Mismo techo de VRAM que la B70, pero ecosistema más probado.
• MI50: ❌ Arquitectura de 2018 sin instrucciones de difusión modernas. No es para esto.

Veredicto rápido

Fuentes: PMZFX B70 · Hostkey R9700 · MI50 Budget VRAM King · MI50 2026 Benchmarks · r/LocalLLaMA MI50 thread

🧭 Radar rápido

• Microsoft Agent Framework 1.0: Semantic Kernel + AutoGen unificados — Microsoft fusiona sus dos frameworks de agentes en un solo SDK para producción. Si trabajas con agentes empresariales, esto pinta a estándar. 🔗 YouTube — explicación
• Flue — framework de agentes del equipo de Astro — Transforma el harness de Claude Code en algo completamente programable. Alternativa fresca a LangGraph y CrewAI desde el ecosistema Astro. 🔗 YouTube
• Ornith-1.0-35B con speculative decode MTP nativo — MTP injertado directamente en el GGUF. Nuevos TTFT con tp=1 en llama.cpp. Sin parches ni forks. 🔗 Reddit
• Qwen3.6-35B-A3B reemplaza Google Vision en pipeline de facturas (actualización W27) — Cubierto en el digest anterior. Extracción de recibos a JSON con modelo local en RTX 3060. Cero coste recurrente, datos 100% locales. 🔗 Reddit

🎯 Mi lectura de la semana

Hay un patrón que se repite: cada vez que alguien demuestra que un modelo local puede hacer el trabajo de un servicio cloud, la conversación vira inmediatamente al hardware. ¿En qué GPU lo corro? ¿Cuánta VRAM necesito? ¿Merece la pena el bricolaje de una MI50 de segunda mano o mejor comprar algo nuevo?

La buena noticia es que 2026 es el año en que la respuesta deja de ser «cómprate una NVIDIA o olvídate». Entre la B70 de Intel ($949, 32GB, vídeo incluido), la R9700 de AMD ($1,299, ROCm maduro), y las MI50 rescatadas del mercado chino ($300, 1 TB/s de ancho de banda), hay un abanico real de opciones. La guerra de las GPUs de IA ha comenzado, y esta vez el campo de batalla son los 32GB.

Lo que más me gusta de esta semana es que la conversación ha pasado de «¿se puede?» a «¿cuál compro?». Eso es progreso real. Hace un año la respuesta era «cómprate una 3090 usada o una 4090 nueva». Hoy tienes tres fabricantes compitiendo en el mismo nicho. Y la MI50, una tarjeta de datacenter de 2018 que muchos daban por muerta, resulta que es el camino más barato para correr un modelo de 235B en el garaje de tu casa. Si eso no es democratización de la IA, no sé qué lo es.

¿Tienes algún comentario o quieres profundizar en algo? Respóndeme.

Si te ha gustado, suscríbete al blog en elmonomudo.com.