🤖 IA Weekly Digest #15 — Semana 43, 2026

Compilado el 23 de octubre de 2026

Esta semana Strata se ha comido los titulares: de los foros sobre Qwen3.8 Flash-Next en cada combinación de GPU imaginable a la pregunta pendiente de si acelera también en Apple Silicon. Mientras, Microsoft empuja su Agent Framework como sucesor de AutoGen y Semantic Kernel, y alguien monta un hedge fund autónomo completo en local con LangGraph. El mensaje de fondo: correr modelos grandes en casa ya no es un experimento, es una decisión de hardware y RAM.

🔝 Lo más importante de la semana

1. Subir de 32GB a 64GB de RAM convierte Qwen3.8-Flash-Next de 2-bit a 4-bit en una sola 4090

Qué ha pasado: Un usuario con RTX 4090 e i9-14900K pasó de 32GB a 64GB de DDR5-5800 y pudo abandonar IQ2_XS para correr la variante Unsloth UD-IQ4_XS de Qwen3.8-Flash-Next con Strata, con la RAM como amortiguador de la VRAM limitada.
Por qué importa: Es la demostración más práctica de que la RAM del sistema es la segunda VRAM: una mejora de ~150€ en memoria puede valer más que medio punto de calidad de cuantización sacrificado.
Para quién importa: Quien juegue con modelos de 30B+ en GPUs de 24GB y se conforme con cuants agresivos por defecto.
🔗 Reddit

2. Microsoft Agent Framework se consolida como sucesor de AutoGen y Semantic Kernel

Qué ha pasado: Han proliferado tutoriales y comparativas del Microsoft Agent Framework (en C# y .NET), presentado oficialmente como el reemplazo de Semantic Kernel y AutoGen para construir apps multi-agente desde cero.
Por qué importa: Cuando un gigante unifica dos frameworks maduros bajo uno solo, el ecosistema de agentes enterprise se simplifica — y las comparativas AutoGen vs CrewAI vs LangGraph de esta semana ya lo incluyen como contendiente.
Para quién importa: Equipos que montan orquestación multi-agente en producción, sobre todo en el mundo .NET.
🔗 YouTube · Comparativa 2026

3. Lumina Capital: un hedge fund autónomo open-source corriendo 100% en local

Qué ha pasado: Se ha publicado Lumina Capital v6.0.0, un motor multi-agente cuantitativo open-source que combina razonamiento LLM con señales determinísticas (Qlib Alpha158, TimesFM) sobre LangGraph, todo ejecutable en local.
Por qué importa: Es un caso real de arquitectura agéntica con guardrails determinísticos: el LLM no decide solo, razona sobre salidas de modelos cuantitativos verificables. Ese patrón sirve para mucho más que trading.
Para quién importa: Quien quiera estudiar cómo separar «decisión de agente» de «cálculo determinístico» en sistemas autónomos locales.
🔗 Reddit

4. SonicBoom v0.0.3: un runtime de inferencia «compiler-first» que presume de superar a llama.cpp en decode

Qué ha pasado: HardenedLinux ha publicado SonicBoom v0.0.3, un runtime de inferencia GPLv3 sin Python — una librería compartida con C ABI y Scheme (Guile) — que afirma superar a llama.cpp en velocidad de decode, y pide ayuda a la comunidad para hacer benchmarks en GPUs diversas.
Por qué importa: Si las cifras se confirman de forma independiente, es otro golpe al stack Python dominante, en la misma línea de «menos capas, más tokens/segundo».
Para quién importa: Afinicionados al rendimiento de inferencia local con GPUs variadas y ganas de contribuir benchmarks.
🔗 Reddit

5. RTX 5090 Laptop en Linux: cuelgues con Xid 8 por CUDA graphs, sin arreglo a la vista

Qué ha pasado: Un Lenovo Legion con RTX 5090 Laptop (24GB) sobre Linux Mint sufre cuelgues de GPU con error Xid 8 al correr LLMs locales, relacionados con el soporte de CUDA graphs en los drivers — y de momento no hay fix.
Por qué importa: Es un aviso importante antes de comprar: la 5090 Laptop en Linux para inferencia todavía tiene asperezas de drivers, y no todo lo que funciona en Windows funciona igual aquí.
Para quién importa: Quien esté considerando un portátil RTX 5090 para IA local sobre Linux.
🔗 Reddit

🧭 Radar rápido

• Strata en Apple Silicon — La comunidad pregunta si la prometida aceleración 4x sobre llama.cpp también se materializa en Macs (vs MLX); por ahora, más dudas que datos. 🔗 Reddit
• Mac Studio M3 Ultra 96GB — Hilo práctico sobre los mejores modelos para coding y chat en memoria unificada: Qwen3.8-27B impresiona. 🔗 Reddit
• Nemotron-3.5-Bolt-74B en 16GB de VRAM — Benchmarks de la quant oficial IQ2_XSS de NVIDIA con llama.cpp y tuning estilo Strata: ~169 tok/s de generación. 🔗 Reddit
• Qwen3.8 Flash-Next en 4×3090 — Hilo sobre el mejor motor (vLLM vs alternativas) para un rig de 4×3090 + 32GB DDR5, con ~100 tok/s actuales como referencia. 🔗 Reddit
• Asistente de reuniones con OpenClaw — Tutorial paso a paso de un asistente multi-agente estilo producción: Otter AI + Trello + Discord. 🔗 YouTube
• 7 días programando con modelos locales — Repaso honesto de una semana con CLIs y agentes locales (incluye OpenClaw con LLM local). 🔗 YouTube
• Guía 2026 de tools locales con Ollama — Pipeline 100% local con Ollama y vector DB para dejar de pagar APIs. 🔗 YouTube

🎯 Mi lectura de la semana

Si algo deja clara esta semana es que la inferencia local se ha convertido en un juego de decisiones de hardware, no de modelos. El mismo Qwen3.8 Flash-Next cambia radicalmente de experiencia según tengas 32GB o 64GB de RAM, una 4090 o cuatro 3090, o Apple Silicon con memoria unificada. Los modelos ya están; el cuello de botella es tu placa.

La segunda lectura es que Strata está cambiando las reglas del juego de rendimiento — y todos los hilos de la semana giran alrededor de él: cómo cuantizar para aprovecharlo, cómo se comporta en Strix Halo, en Apple, con la quant oficial de NVIDIA. Cuando una técnica mueve el mercado entero de discusiones en una semana, es que ha tocado algo real.

Y en el mundo agéntico, me quedo con Lumina Capital: el patrón de «LLM razona, cálculo determinístico decide» es el más sano que he visto en sistemas autónomos locales en bastante tiempo. Eso mismo lo quiero en mis flujos con OpenClaw.

¿Tienes algún comentario o quieres profundizar en algo? Respóndeme.
Si te ha gustado, suscríbete al blog en elmonomudo.com.

🤖 IA Weekly Digest #14 — Semana 42, 2026

Compilado el 16 de octubre de 2026

Esta semana el debate está claro: ¿qué motor de inferencia usas? Magnitude presume de ir 2x más rápido que llama.cpp, AnythingLLM abandona Ollama, y los foros discuten si el mismo modelo se comporta igual en todos los runtimes. Además, la fiebre por el hardware unificado sigue: Mac mini, DGX Spark y Strix Halo pelean por el escritorio. Y >> OpenClaw sigue demostrando que los equipos de agentes locales ya son una realidad de trabajo, no un experimento.

🔝 Lo más importante de la semana

1. AnythingLLM cambia de motor: adiós Ollama, hola Lemonade y llama.cpp

Qué ha pasado: El equipo de AnythingLLM ha anunciado su migración de Ollama a Lemonade (AMD) y llama.cpp como backends principales de inferencia local.
Por qué importa: Es un gesto de madurez del ecosistema: las apps de frontend se están decantando por motores más eficientes y sostenibles que el «default» cómodo.
Para quién importa: Si usas AnythingLLM u Ollama en tu stack local, afecta directamente a tu setup.
🔗 Reddit

2. Magnitude: ¿2x más rápido que llama.cpp en Mac?

Qué ha pasado: Better Stack ha probado Magnitude, un nuevo motor open-source de inferencia local que afirma duplicar la velocidad de llama.cpp en Apple Silicon.
Por qué importa: Llevamos años con llama.cpp como rey indiscutible; un challenger serio obliga a optimizar a todos. Conviene ver los benchmarks con escepticismo y probarlo en tu hardware.
Para quién importa: Cualquiera que corra modelos locales en Mac.
🔗 YouTube

3. ¿El mismo modelo se comporta igual en todos los motores? Spoiler: no

Qué ha pasado: Un hilo muy comentado en r/LocalLLaMA explora cómo el mismo modelo open da resultados distintos según engine (llama.cpp, vLLM, Ollama, SGLang), cuantización, chat template y versión del runtime.
Por qué importa: Es el problema silencioso de la IA local: la reproducibilidad. Si algo se te rompe tras una actualización, quizá no es el modelo — es el motor.
Para quién importa: Desarrolladores con agentes en producción y cualquier persona seria sobre inferencia local.
🔗 Reddit

4. Strix Halo: prompt processing +21–54% y hasta 2.7x sobre ROCm stock

Qué ha pasado: El branch `rdna35-perf` de strix-llama.cpp reporta grandes mejoras en la Radeon 8060S de los boxes Strix Halo con 128 GB de memoria unificada.
Por qué importa: Más pruebas de que el APU unificado de AMD es ya un jugador serio para IA local, especialmente en prompt processing con contextos largos (128k).
Para quién importa: Quienes montan cajas con 128 GB unificados y quieren contextos largos sin comprar dGPU.
🔗 Reddit · GitHub

5. Un equipo de 4 agentes con OpenClaw en un Mac mini

Qué ha pasado: El caso de Brian Casel: un Mac mini dedicado corriendo OpenClaw 24/7 con un equipo de 4 agentes para ayudarlo a dirigir su negocio.
Por qué importa: Aunque los frameworks de agentes han sido el hype repetido de la semana (LangGraph vs CrewAI vs Claude SDK…), el caso práctico vale más que otra comparativa: hay gente ejecutando esto en producción casera ya.
Para quién importa: Si tienes un mac sobrante, esta es la señal de que ya no hay excusa.
🔗 YouTube

🧭 Radar rápido

• Qwen3.8-27B con speculative decoding bit-exact a 106 t/s — decoding especulativo reproducible en una sola RTX PRO 6000. 🔗 Reddit
• DGX Spark vs Mac Studio 128 GB vs tu 24 GB actual — reflexión creíble sobre cuándo la memoria unificada NO es upgrade automático. 🔗 YouTube
• M5 Ultra Studio: ¿64 o 80 núcleos? — misma RAM (256 GB), 10 semanas de espera extra… ¿valen la pena? 🔗 Reddit
• Buscadores con IA 100% locales — OpenWebUI + búsqueda web aún lejos de la experiencia comercial; hay mucho que construir. 🔗 Reddit
• ¿Tensor parallelism exige interconexión de GPU? — debatido y documentado: llama.cpp y vLLM ya aprovechan el ancho de banda GPU-a-GPU. 🔗 Reddit
• Flue (Astro team): agentes como código programable — envuelven el harness estilo Claude Code en un framework abierto. 🔗 YouTube
• ¿Priorizas RAM o GPU en un Mac mini para agentes 24/7? — hasta 27B Q4 caben y sobran para agentic con 32-48 GB. 🔗 Reddit
• Mac mini para 10-15 usuarios concurrentes — el caso del ESC4000 con 8x T4 muestra lo que NO funciona en multi-usuario. 🔗 Reddit
• Otro «2x más rápido»: Ollama (3090 vs 4090) benchmark — la comparación clásica sigue viva y el salto por generación es real. 🔗 YouTube

🎯 Mi lectura de la semana

Me quedo con una sensación: la guerra ya no es sobre los modelos, es sobre los runtimes. Magnitude, Lemonade, llama.cpp, vLLM, SGLang… el mismo peso con distinto rendimiento y — según el hilo del motor — hasta con distinto comportamiento. Para quien monta IA local como yo, esto significa que hay que testear la pila completa, no solo el modelo.

Y en hardware, la filosofía «memoria unificada lo arregla todo» empieza a matizarse. El video del DGX Spark es un buen recordatorio de que la compra inteligente parte del hardware que ya tienes, no del catálogo nuevo. Mientras tanto, los equipos de agentes tipo OpenClaw se normalizan: cuatro agentes en un Mac mini manejando un negocio real es, hoy, totalmente factible.

¿Tienes algún comentario o quieres profundizar en algo? Respóndeme.
Si te ha gustado, suscríbete al blog en elmonomudo.com.

🤖 IA Weekly Digest #13 — Semana 41, 2026

Compilado el 9 de octubre de 2026

Esta semana el protagonismo se lo reparten el ecosistema Qwen3.8 Flash Next — con Unsloth arreglando el caos de quants GGUF y fine-tunes hechos a medida para el Mac Studio M5 Ultra — y la invernadero de hardware reciclado: kits que mezclan AMD y NVIDIA, Vulkan en GPUs viejas y Mac Studios de 128GB como estación de trabajo agéntica. Todo apunta en la misma dirección: IA potente con el hardware que ya tienes en casa.

🔝 Lo más importante de la semana

1. Unsloth actualiza los GGUF de Qwen3.8-Flash-Next: adiós al caos de dos versiones incompatibles

Qué ha pasado: Unsloth ha actualizado su release de Qwen3.8-Flash-Next-GGUF para que funcione directamente con llama.cpp, terminando con el problema de que existían dos versiones de GGUF del modelo que no eran intercambiables.
Por qué importa: Cuando un modelo popular tiene quants fragmentados, cada usuario pierde tiempo en debug y descargas a ciegas; unificar el formato vuelve a hacer de Flash-Next una opción «descargar y correr» para hardware doméstico.
Para quién importa: Cualquiera que corra Flash-Next en consumer GPUs o Macs, y mantenedores de herramientas que consumen GGUF.
🔗 Reddit · HuggingFace

2. Mac Studio M5 Max 128GB: ¿estación de trabajo agéntica seria?

Qué ha pasado: Los primeros compradores del Mac Studio M5 Max 128GB (18C CPU / 40C GPU) ya están preguntando y reportando experiencias con cargas serias de LLM local y workloads multi-agente sobre la memoria unificada.
Por qué importa: 128GB unificados es el umbral donde cabe un modelo grande completo con contexto largo — el punto donde «agente local serio» deja de ser un experimento y pasa a ser una configuración estándar.
Para quién importa: Quien evalúe Mac Studio frente a multi-GPU NVIDIA para servir agentes persistentes, y equipos decidiendo hardware para 2027.
🔗 Reddit

3. Swift1.5-Qwen3.8-Flash-Next: fine-tune tailor-made para el Mac Studio M5 Ultra de 96GB

Qué ha pasado: Dankpaws ha publicado Swift1.5, un fine-tune de Qwen3.8 Flash Next en MLX 4.7bpw ajustado específicamente para aprovechar los 96GB del Mac Studio con M5 Ultra, tras una semana de pruebas insatisfechas con las opciones estándar.
Por qué importa: Es la tendencia de la semana: fine-tunes optimizados por hardware concreto, no solo por tarea. Cuando el modelo se ajusta a la memoria y velocidad del chip, el rendimiento real sube más que con cualquier tweak de engine.
Para quién importa: Propietarios de Mac Studio con memoria grande; y quien quiera ver hacia dónde van los releases de pesos abiertos «por dispositivo».
🔗 Reddit · HuggingFace

4. Infermeld: un GGUF repartido entre GPU AMD y NVIDIA con llama.cpp

Qué ha pasado: Ha salido Infermeld, un kit open-source para Linux que permite correr un único GGUF repartido entre una GPU AMD y una NVIDIA a la vez, sobre llama.cpp, continuando la línea de proyectos «club» de hardware heterogéneo.
Por qué importa: Rompe la regla no escrita de que en IA local se elige un solo vendor de GPU. Con un cajón de GPUs mezcladas que casi todos tenemos, poder combinarlas es VRAM gratis para modelos más grandes.
Para quién importa: Tinkerers con rigs heterogéneos y quien quiera exprimir GPUs viejas de distintos fabricantes en un solo servidor de inferencia.
🔗 Reddit

5. OpenClaw se acerca al mainstream: dos guías nuevas de asistente 100% local

Qué ha pasado: Han aparecido dos tutoriales recientes de montar un asistente personal con OpenClaw + Ollama en local: uno paso a paso con Telegram sobre un ASUS GX10 (Execute Automation) y otro de Krish Naik orientado a construir tu propio asistente privado.
Por qué importa: Cuando un patrón ya tiene guías de dos creadores distintos en una misma semana, es señal de que la ola «asistente open-source autoalojado» está saliendo del nicho y atrayendo a público general.
Para quién importa: Quien quiera arrancar con OpenClaw desde cero con modelos locales, sin depender de APIs de pago.
🔗 YouTube (Execute Automation) · YouTube (Krish Naik)

🧭 Radar rápido

• RTX 3090 como agente de código local — Qwen3.8-27B Q4_K_M + llama.cpp + OpenCode en una 3090: throughput real en 4 tareas de coding, con un fallo de reasoning-budget documentado con honestidad. 🔗 Reddit
• QFN en llama.cpp: ¿queda margen? — ajustes finos del quant GSQ-RCO-Coder (ISTA) en 2x 5060 Ti 16GB + 32GB DDR4, apurando los settings. 🔗 Reddit
• Vulkan en GPUs «pobres» — lista comunitaria de GPUs viejas sin CUDA/ROCm moderno que aún rinden con Vulkan en llama.cpp. 🔗 Reddit
• MI50: ROCm 10.2 TheRock vs Vulkan Mesa 26.2 — benchmarks comparativos en llama.cpp sobre la vieja estrella de compute barata. 🔗 Reddit
• Speculative decoding en Metal mejorado — PR en llama.cpp con few-row MMA mat-mul y copies batched para acelerar speculative decoding en Apple Silicon. 🔗 Reddit
• RAG local de segunda mano («second brain») — hilo práctico de stack para notas personales 100% local: SQLite + sqlite-vec + FTS5, embeddings con Ollama, en Apple Silicon. 🔗 Reddit
• Servir y monitorizar modelos en multi-GPU multi-nodo — hilo sobre cómo cortar el «duct tape» al orquestar inferencia en 3 máquinas con LM Studio/Ollama. 🔗 Reddit
• ¿ik_llama.cpp es realmente más rápido? — un usuario de rig híbrido multi-GPU encuentra que el mainline le gana al famoso fork de ikawrakow; buena lección sobre benchmarks en tu hardware. 🔗 Reddit
• Motores «a medida por hardware» buscan nombre — debate sobre acrónimos (HOMIE vs MADE) para la nueva ola de engines que sacrifican generalidad por rendimiento en un hardware concreto. 🔗 Reddit
• 7 días programando solo con modelos locales — Adrian Twarog prueba coding con LLMs locales durante una semana, incluyendo agentes y OpenClaw con modelos locales. 🔗 YouTube

🎯 Mi lectura de la semana

Si tuviera que resumir la semana en una frase: el ecosistema se está especializando por hardware. Swift1.5 para el M5 Ultra, Infermeld para rigs AMD+NVIDIA, Vulkan para GPUs viejas, un PR de Metal para speculative decoding. Ya no es «¿correrá este modelo en mi máquina?», sino «¿qué versión de este modelo corres mejor en tu máquina exacta?».

Lo veo saludable: significa que la IA local ha dejado de ser un ejercicio de paciencia y se ha vuelto un ejercicio de configuración fina. Y el otro signo de madurez es OpenClaw con dos guías nuevas en una semana — cuando algo se documenta así de bien, es porque hay gente real usándolo a diario.

¿Tienes algún comentario o quieres profundizar en algo? Respóndeme.
Si te ha gustado, suscríbete al blog en elmonomudo.com.

🤖 IA Weekly Digest #12 — Semana 40, 2026

Compilado el 2 de octubre de 2026

Esta semana el eje claro es el salto de los modelos locales: Apple mete un LLM gratis en macOS 27, aparecen fine-tunes que recortan Qwen Flash Next sin perder calidad, y hasta un motor de inferencia que se optimiza solo para tu hardware. Mientras tanto, la batalla de frameworks de agentes sigue sin un ganador claro — pero cada vez con más datos reales.

🔝 Lo más importante de la semana

1. macOS 27 incluye un LLM local gratuito en Apple Silicon

Qué ha pasado: macOS 27 trae de serie un modelo de lenguaje local que corre nativamente en Macs con Apple Silicon, y la comunidad ya ha creado bindings para usarlo fácilmente desde Node y Python.
Por qué importa: Es la primera vez que un LLM útil llega «incluido» en el sistema operativo de un fabricante grande — señala hacia una IA local sin fricción de instalación para millones de usuarios.
Para quién importa: Cualquiera con un Mac M-series que quiera IA privada sin descargar gigas de pesos; y desarrolladores buscando un runtime local listo para producción.
🔗 Reddit

2. Motor de inferencia open-source que se auto-optimiza: hasta 2x más rápido que llama.cpp

Qué ha pasado: Ha aparecido un motor de inferencia open-source al estilo LM Studio o Unsloth Desktop que compila y ajusta sus kernels en tu propio dispositivo, logrando que los modelos abiertos corran hasta el doble de rápido que llama.cpp en Apple Silicon, NVIDIA, AMD o CPU pura.
Por qué importa: Si el rendimiento se sostiene, cambia la ecuación de «qué hardware necesito»: el mismo modelo en tu GPU actual puede volverse notablemente más usable sin gastar un euro.
Para quién importa: Quienes corren modelos en hardware doméstico y quieren exprimirlo antes de plantearse una actualización de GPU o Mac.
🔗 Reddit

3. Victoria: Qwen3.8-Flash-Next recortado al 56% sin perder capacidad de agentes

Qué ha pasado: Un equipo ha publicado dos fine-tunes open-weights de Qwen Flash Next: Victoria (orientada a código y agentes, con un 44% de expertos eliminados vía la técnica REAP y 70% en Terminal-Bench 2.1, con GGUF incluido) y Maple, un fine-tune «Canada-first».
Por qué importa: El «model pruning» de expertos demuestra que se puede recortar un MoE grande y mantener calidad real de agentic coding — menos VRAM para el mismo trabajo.
Para quién importa: Quienes quieren un modelo fuerte de agentes en tarjetas de 24GB o menos; creadores de GGUF y cuantizadores.
🔗 Reddit

4. La batalla de frameworks de agentes 2026: AutoGen vs CrewAI vs LangGraph (y Microsoft Agent Framework)

Qué ha pasado: Esta semana han salido varias comparativas actualizadas de los grandes frameworks multi-agente, con criterios nuevos: gestión de estado, latencia oculta y robustez en producción, no solo demos.
Por qué importa: Elegir mal framework «puede frenar tu pipeline de producción» — las diferencias reales están en la gestión de estado persistente y el overhead, no en el marketing.
Para quién importa: Quien monte orquestaciones multi-agente serias (con cron, mensajería y guardrails humanos) y necesite decidir arquitectura ya.
🔗 YouTube (comparativa 2026) · YouTube (frameworks en producción)

5. Un equipo de 4 agentes con OpenClaw en un Mac Mini, para un negocio real

Qué ha pasado: Brian Casel ha publicado un recorrido completo de cómo montó un equipo de 4 agentes IA con OpenClaw en un Mac Mini dedicado, para ayudar a gestionar su negocio día a día.
Por qué importa: Es un caso real de uso — no una demo — de agentes persistentes coordinados con hardware local barato, exactamente el patrón «asistente personal open-source» que está madurando.
Para quién importa: Curiosos de OpenClaw que quieran pasar de un agente a un equipo, y quien valore separar el agente del portátil de uso diario.
🔗 YouTube

🧭 Radar rápido

• MTP para Qwen Flash Next vuelve a llama.cpp — se reanuda el trabajo de speculative decoding multi-token; quants oficiales en GGUF ya disponibles. 🔗 Reddit
• llama.cpp vs vLLM: ¿cuál escala mejor? — IBM Technology repasa qué motor elegir según carga y hardware. 🔗 YouTube
• Qwen3.5 9B en 16GB (RTX 50 series) — testeado con Ollama para tareas generales y código; rápido y sorprendentemente capaz. 🔗 YouTube
• ¿Cuánta RAM para IA local en Mac mini? — guía práctica con modelos 4-bit y contexto completo: dónde se queda corta la base. 🔗 YouTube
• RTX 3090 vs 4090 como servidor de inferencia — comparativa de velocidad con Ollama sobre 3 LLMs modernos; la 3090 sigue siendo la reina del precio/rendimiento de segunda mano. 🔗 YouTube
• Splash 1.1.0 con soporte GGUF y MLX — kernels optimizados + speculative decoding: Qwen3.8 27B a 50 t/s en un M5 Pro 64GB. 🔗 Reddit
• Ollama + Home Assistant en Mac Mini M4 Pro — setup completo de IA local para automatizar la casa sin nube. 🔗 YouTube
• Guía LM Studio para empezar de cero — hardware, HuggingFace y modelos especializados en casi 70 minutos. 🔗 YouTube
• Swift-Qwen3.8-27B-Genesis GGUF — modelo con visión en menos de 17GB, cabe completo en 32GB de VRAM. 🔗 Reddit

🎯 Mi lectura de la semana

Lo que más me llama de esta semana no es un modelo ni un framework, sino un patrón: todo el stack de IA local se está apretando a la vez. Modelos recortados (Victoria), motores que optimizan kernels en tu hardware, y MTP de vuelta en llama.cpp. Cada capa gana un poco, y los efectos se multiplican.

La consecuencia práctica: el hardware de hace dos años sigue siendo relevante. Una 3090 de segunda mano o un Mac con 32GB unificados, con el software de esta semana, rinden como lo que hace un año costaba el doble. No hay prisa por actualizar — hay prisa por configurar bien.

¿Tienes algún comentario o quieres profundizar en algo? Respóndeme.
Si te ha gustado, suscríbete al blog en elmonomudo.com.

🤖 IA Weekly Digest #11 — Semana 39, 2026

Compilado el 25 de septiembre de 2026

Semana de empujar los mismos modelos cada vez más rápido: FreeToken lleva Qwen3.8-Flash-Next a 50 tg/s en una sola RTX 5090, unas Tesla V100 desparejas demuestran que el hardware «viejo» aún da guerra, y el ecosistema de frameworks de agentes se reordena tras la muerte de AutoGen.

🔝 Lo más importante de la semana

1. Qwen3.8-Flash-Next a 50 tg/s en una única RTX 5090 con FreeToken

Qué ha pasado: /u/dir3ctly ha publicado benchmarks de Qwen 3.8 Flash Next sobre una sola RTX 5090 usando FreeToken: 50 t/s de generación y 2.300 t/s de prompt processing. La clave: llama.cpp todavía no implementa Expert Caching para modelos MoE, lo que lastraba el rendimiento con el backend estándar.
Por qué importa: Demuestra que el backend importa tanto como el modelo. La misma GPU que parecía «quedarse corta» con llama.cpp rinde de sobra con un motor que cachea expertos — buen recordatorio antes de comprar hardware nuevo.
Para quién importa: Quienes corren MoE locales en una GPU de 32GB y quieran exprimir cada tg/s sin cambiar de tarjeta.
🔗 Reddit

2. Laboratorio local con dos Tesla V100 desparejas (16+32 GB): 1.380 t/s de prompt

Qué ha pasado: /u/OkBase5453 ha montado un lab de inferencia con un par asimétrico de Tesla V100 PCIe (16 GB + 32 GB, 48 GB totales) en Proxmox/LXC, corriendo qwen3.8 27B en Q6 y Q8 con un build reciente de CUDA para llama.cpp: 1.380 prompt tok/s y 40 tok/s de decode con tensor split y Flash Attention.
Por qué importa: Un caso práctico de que las GPUs «anticuadas» de segunda mano siguen siendo opción seria si aceptas hardware heterogéneo y haces la guía de tarjetas correctamente.
Para quién importa: Tinkerers con presupuesto ajustado que compren GPUs de datacenter usadas en vez de una 5090.
🔗 Reddit

3. MiMo-V2.6-Flash con vLLM: arreglos para «empty responses» con tools y un cap oculto de 2.048 tokens

Qué ha pasado: /u/mamolengo ha pasado un día debuggeando MiMo-V2.6-Flash-RL como backend de un agent harness sobre 2× DGX Spark con vLLM. La mayoría de los «problemas con tools» resultaron ser bugs de configuración de vLLM, y además descubrió un límite oculto de salida de 2.048 tokens que cortaba las respuestas largas.
Por qué importa: Mucha gente está volviendo a GLM-5.3-Flash creyendo que MiMo «es malo con herramientas», cuando el problema está en cómo se despliega, no en el modelo. Buen recordatorio de separar modelo de stack.
Para quién importa: Cualquiera montando agentes sobre modelos locales con vLLM y tool calling.
🔗 Reddit

4. Clasificadores «estilo JEV» con llama.cpp: usa cualquier GGUF con n_probs=10

Qué ha pasado: Dos hilos esta semana sobre convertir cualquier LLM en clasificador con logits de dígitos: basta correr el GGUF con llama.cpp usando n_predict=1 y n_probs=10, desactivar el razonamiento, y preguntar «¿spam? responde 1 o 0» — luego leer los logit-digits de la respuesta. /u/rhinodevil lo tiene implementado en su proyecto abierto mt_llm.
Por qué importa: Evita entrenar clasificadores específicos: un modelo pequeño local con logits restringidos puede hacer routing, spam-detection y clasificación a coste casi cero.
Para quién importa: Quienes montan pipelines locales con etapas de clasificación o enrutado de prompts.
🔗 Reddit · Reddit (mt_llm) · GitHub: mt_llm

5. DeepSeek-V4.1-Flash: límites nuevos en compresión de KV cache

Qué ha pasado: Entre los destacados de los HF Daily Papers aparece DeepSeek-V4.1-Flash, centrado en empujar la compresión del KV cache más allá de lo habitual, con nota de /u/ThomasAger sobre tres papers del día inusualmente buenos para la comunidad local.
Por qué importa: El KV cache es el verdadero cuello de botella de contexto largo en local. Comprimirlo mejor significa más contexto en la misma VRAM — traducción directa: modelos grandes con ventanas largas en hardware doméstico.
Para quién importa: Interesados en contextos largos en consumer GPUs y en la línea entre investigación y práctica local.
🔗 Reddit

🔧 Especial: frameworks de agentes 2026 — el mapa se ha reordenado

1. AutoGen está muerto (abril 2026): qué usar ahora

Qué ha pasado: Varios vídeos esta semana repasan el nuevo panorama tras la eliminación de AutoGen: CrewAI vs LangGraph vs MS Agent Framework es la tripleta vigente, y media docena de tutoriales populares del año ya están obsoletos.
Por qué importa: Si montaste algo sobre AutoGen, es migración obligada. LangGraph gana para grafos de estados complejos; CrewAI sigue siendo la opción «rápida de montar».
Para quién importa: Cualquiera con agentes en producción o planes de montarlos este trimestre.
🔗 YouTube · YouTube (3 formas, Python)

2. Flue: el harness de Claude Code hecho framework programable

Qué ha pasado: El equipo de Astro ha publicado Flue, un framework open-source que convierte el agent harness de Claude Code en una plataforma completamente programable, con herramientas, bucles y políticas bajo control explícito del desarrollador.
Por qué importa: Apunta al mismo hueco que OpenClaw ocupa en el ecosistema personal: harness como infraestructura, no como chat. Menos magia, más control.
Para quién importa: Devs que quieren agentes con guardrails y flujos explícitos sin reinventar el harness.
🔗 YouTube

🧭 Radar rápido

• OpenClaw, el documental — Peter Steinberger repasa en 27 minutos cómo su asistente open-source pasó de proyecto a fenómeno del AI agéntico. 🔗 YouTube
• Tutorial OpenClaw 100% local — Setup paso a paso con Telegram + Ollama sobre un ASUS GX10, ideal para quien empiece ahora. 🔗 YouTube
• ROCm vs Vulkan en Strix Halo — /u/Hrethric compara DSv4 Flash 0731 y Qwen 3.8 Flash Next en Radeon 9700 + Strix Halo con llama.cpp; los PRs recientes han movido el equilibrio. 🔗 Reddit
• PAM v2.0: memoria persistente para asistentes IA — Sistema open-source de memoria a largo plazo actualizado a paridad con los sistemas internos de los asistentes comerciales. 🔗 Reddit
• Mac mini M6: Qwen3.8-27B a 53+ TPS — Primer vistazo al nuevo mini; el chip base ya roza los números que antes exigían un Studio. 🔗 YouTube
• «No compres un Mac Studio M5 Ultra para IA local» — La matemática que nadie hace: 45.000$ en cuatro Studios frente a ~800$ de… la alternativa gana por KO en tok/s por dólar. 🔗 YouTube

🎯 Mi lectura de la semana

Esta semana me queda claro que la capa de infraestructura ha ganado la partida al modelo. El mismo Qwen 3.8 Flash Next pasa de «decepcionante» a 50 tg/s según el motor que uses; MiMo-V2.6 pasa de «malo con tools» a funcional según cómo configures vLLM. Comprar hardware nuevo por un benchmark mal medido es el error más caro del hobby ahora mismo.

El otro movimiento que sigo con lupa es el reordenamiento de los frameworks de agentes: AutoGen muerto, Flue llegando desde el mundo del harness, y OpenClaw narrándose ya como «el que cambió el mundo». Estamos en el momento en que los agentes persistentes con herramientas dejan de ser experimento y pasan a ser producto — y ese es exactamente el terreno donde vivo día a día.

¿Tienes algún comentario o quieres profundizar en algo? Respóndeme.
Si te ha gustado, suscríbete al blog en elmonomudo.com.

🤖 IA Weekly Digest #10 — Semana 38, 2026

Compilado el 18 de septiembre de 2026

Semana de ingeniería al límite: motores de inferencia escritos desde cero en C99, un Qwen3.8-Flash-Next corriendo a 8-22 tg/s en una MacBook Air de 32GB, y un debate eterno reabierto — ¿RTX 5090 o Mac Studio M5 Ultra? Spoiler: la respuesta sigue siendo «depende de tu VRAM y tu banco».

🔝 Lo más importante de la semana

1. Cherenkov: Qwen3.8-Flash-Next a 8-22 tg/s en una MacBook Air de 32GB

Qué ha pasado: /u/alfredr ha publicado Cherenkov, un motor de inferencia para Apple Silicon optimizado para memoria restringida: consigue correr Qwen3.8-Flash-Next (Q4) con solo ~21GB de asignaciones, alcanzando 8-22 tg/s en una M4 MacBook Air de 32GB.
Por qué importa: Es un record de inferencia en hardware «constrained» y demuestra que la optimización a nivel de motor importa más que el hardware bruto. El código está abierto en GitHub.
Para quién importa: Cualquiera con un Mac de memoria unificada que quiera modelos grandes sin comprar un Studio.
🔗 Reddit · GitHub: Cherenkov

2. Motor de inferencia único en C99: BitNet ternario + GGUF estándar, sin Python ni CUDA

Qué ha pasado: Un nuevo motor de inferencia escrito en C99 puro es capaz de ejecutar tanto modelos BitNet (1.58-bit ternarios) como GGUF convencionales desde un único binario, sin dependencias de Python ni CUDA.
Por qué importa: Hasta ahora había que elegir entre llama.cpp (GGUF) o bitnet.cpp (ternario). Unificar ambos en un binario portable abre la puerta a inferencia local en hardware modesto y sin ecosistema NVIDIA.
Para quién importa: Tinkerers con GPUs antiguas, CPUs solamente, o quien quiera desplegar inferencia en máquinas mínimas.
🔗 Reddit

3. Explorador de quants: qué GGUF cabe en tu GPU/Mac, con el comando llama.cpp listo

Qué ha pasado: /u/asankhs ha lanzado Local Model Explorer, una herramienta en Hugging Face Spaces que calcula qué quants de un modelo caben en tu GPU o Mac una vez sumados contexto, KV cache y capas offloadadas — y te da el comando llama.cpp exacto.
Por qué importa: Acaba con el ritual de prueba y error al cargar modelos. Los fallos de OOM al sumar contexto + KV cache son el error #1 al correr modelos locales, y esta herramienta los evita de raíz.
Para quién importa: Todos. Es la herramienta que todos los que montamos setups locales llevábamos tiempo deseando.
🔗 Reddit · Hugging Face Space

4. ¿Vender la RTX 5090 por un Mac Studio M5 Ultra de 96GB?

Qué ha pasado: Debate de la semana en r/LocalLLaMA: un usuario plantea vender su 5090 (~$5k de reventa) por un Mac Studio M5 Ultra de 96GB ($5.499). El dato clave: la 5090 tiene 1.8 TB/s de ancho de banda frente a los 1.2 TB/s del M5 Ultra.
Por qué importa: Es la decisión de hardware del año para muchos. La 5090 gana en throughput bruto, pero el Mac ofrece 96GB de memoria unificada y un consumo ridículo. Para código, el ecosistema CUDA sigue pesando.
Para quién importa: Quien esté planificando una renovación de setup de inferencia local en 2026.
🔗 Reddit

5. Mi equipo multi-agente con OpenClaw: un Mac Mini y 4 agentes dirigiendo un negocio

Qué ha pasado: Brian Casel ha publicado un vídeo detallando cómo montó un equipo de 4 agentes con OpenClaw en un Mac Mini dedicado para operar su negocio: coordinación de tareas, correo, y workflows recurrentes.
Por qué importa: Es un caso real de orquestación multi-agente en producción, no una demo: hardware dedicado, división de roles entre agentes y automatización de operaciones cotidianas.
Para quién importa: Cualquiera explorando OpenClaw como asistente personal operativo — y sobre todo los que dudan si un mini PC dedicado justifica la inversión.
🔗 YouTube

🧭 Radar rápido

• GGUF con nuevos layouts de tensores — /u/noneabove1182 publica su investigación sobre reorganizar la forma de los modelos que sube a Hugging Face. 🔗 Reddit · Blog
• GPU vieja para visión (mmproj) — Truco: dedicar una GPU secundaria lenta solo al proyector de visión con --mmdev CUDA1 libera VRAM del modelo principal sin matar la velocidad. 🔗 Reddit
• LM Studio acepta overrides de llama.cpp — Probar --yarn-attn-factor 1.2 sin re-guardar el GGUF; se reporta mejora en creatividad. 🔗 Reddit
• Qwen3.8-27B a 156K de contexto en una sola 5090 — Q6_K + DFlash2 speculative decoding: 140-190 tok/s para sesiones largas de coding agéntico. 🔗 Reddit
• Fork de llama.cpp para Ampere — Config optimizada para 30xx: 90+ TPS para coding agéntico si tienes una 3090. 🔗 Reddit
• Undervolting para LLM 24/7 — Cómo perder cero rendimiento y bajar la factura térmica (y eléctrica) de un rig de inferencia doméstico. 🔗 Reddit
• CUDA graphs para draft MTP en llama.cpp — PR #28549 promete acelerar speculative decoding con draft models en NVIDIA. 🔗 Reddit
• MLX vs GGUF en Mac — Hilo comparativo actualizado: velocidad y rendimiento por quant en el ecosistema Apple. 🔗 Reddit
• llama.cpp b11003 — Nueva release con mejoras habituales de rendimiento y soporte. 🔗 Reddit

🎯 Mi lectura de la semana

Esta semana me quedo con dos ideas. La primera: el software está comiendo al hardware. Entre Cherenkov en una MacBook Air, el fork de llama.cpp para Ampere y el DFlash2 exprimiendo una 5090, está claro que las mayores ganancias de rendimiento ya no vienen de comprar más VRAM, sino de apretar cada gigabyte que ya tienes.

La segunda: la herramienta de quants que te dice qué cabe en tu GPU es de esas que marcan un antes y un después silencioso. Casi todo el tiempo perdido montando setups locales era adivinar memorias. Cuando el adivinar desaparece, la barrera de entrada baja para todo el mundo. Y eso, a la larga, importa más que cualquier benchmark de tok/s.

¿Tienes algún comentario o quieres profundizar en algo? Respóndeme.
Si te ha gustado, suscríbete al blog en elmonomudo.com.

🤖 IA Weekly Digest #9 — Semana 37, 2026

Compilado el 11 de septiembre de 2026

Esta semana el mundillo local ha estado Lispero: Microsoft enterró AutoGen de una vez, la comunidad de r/LocalLLaMA ha sacado benchmarks serios sobre KV cache y prefill que desmontan mitos de marketing, y hay una reflexión interesante sobre cuánto cuesta de verdad montar un Mac Studio para IA local frente a pagar API. Además, OpenClaw vuelve a estar en boca de todos.

🔝 Lo más importante de la semana

1. Microsoft mata AutoGen y apuesta todo por el Microsoft Agent Framework

Qué ha pasado: Microsoft ha confirmado el fin de AutoGen (abril 2026) y empuja su nuevo Microsoft Agent Framework como sucesor para construir aplicaciones multi-agente desde cero.
Por qué importa: La mayoría de tutoriales de agentes escritos este año quedan obsoletos de golpe. El panorama de frameworks se reordena: LangGraph, CrewAI, OpenAI Agents SDK y ahora MS Agent Framework compiten cabeza a cabeza.
Para quién importa: Cualquiera montando sistemas agénticos ahora mismo — elegir framework ya no es una decisión que se pueda posponer sin quedar en deuda técnica.
🔗 YouTube (DEEPTECH AI LABS) · Tutorial Microsoft Agent Framework

2. Strix Halo: el cuello de botella real es el prefill, no el decode

Qué ha pasado: Un análisis de 5 forks de Strix Halo con Qwen3.8 Flash-Next demuestra con números que los ~1.400 t/s de prefill son reales, pero los 60 t/s de decode anunciados no. La comunidad discute decode cuando el verdadero problema en contexto largo es procesar el prompt.
Por qué importa: Cambia cómo se debe evaluar hardware de memoria unificada: para RAG y contextos grandes, el prefill pesa más que el decode. Datos concretos, no hype.
Para quién importa: Quien considere Strix Halo / Macs para IA local con documentos largos.
🔗 Reddit r/LocalLLaMA

3. Verifica tu KV cache: lo anunciado no es lo que evicta

Qué ha pasado: Un usuario con 2x DGX Spark investigó a fondo la gestión de KV cache en vLLM con DeepSeek v4 Flash y publicó cómo validar cuánto contexto REAL soporta tu setup antes de que se evicte lo viejo.
Por qué importa: Los «262k de contexto» de los marketing specs no sobreviven al contacto con la presión real de cache. Método reproducible para medirlo en tu propia máquina.
Para quién importa: Cualquiera corriendo agentes de larga duración o RAG en local, donde el contexto largo es pan de cada día.
🔗 Reddit r/LocalLLaMA

4. La matemática incómoda del Mac Studio para IA local

Qué ha pasado: Un desarrollador calculó el coste real de montar 4 Mac Studio M5 Ultra (unos $45.000) para escapar de una factura de API de $800/mes — y explica cuándo (y cuándo no) compensa.
Por qué importa: Es exactamente la decisión de compra que la mayoría hace con intuición y no con números. La tónica general: el breakeven está mucho más lejos de lo que vende el hype.
Para quién importa: Cualquiera valorando hardware dedicado para inferencia local frente a API de pago.
🔗 YouTube (Devsplainers)

5. OpenClaw, el asistente open-source que se ha comido el mundo agéntico

Qué ha pasado: Peter Steinberger, creador de OpenClaw, repasa en una entrevista larga cómo el proyecto pasó de curiosidad open-source a uno de los asistentes agénticos más comentados del ecosistema. Además siguen apareciendo guías para correrlo 100% gratis con Gemma 4 local, sin API key.
Por qué importa: OpenClaw se está consolidando como el harness de referencia para asistentes personales con herramientas reales — y la combinación con modelos locales lo hace viable sin coste recurrente.
Para quién importa: Quien quiera montar su propio asistente con cron, memoria y herramientas, sin depender de APIs de pago.
🔗 Entrevista a Peter Steinberger · OpenClaw + Gemma 4 local

🧭 Radar rápido

• Flue: harness agéntico programable — Framework open-source del equipo Astro que convierte el harness de Claude Code en algo totalmente programable. 🔗 YouTube (Better Stack)
• Eidon v4: plataforma IA self-hosted todo-en-uno — Chat, agentes estilo bot, automatizaciones y tools en un solo contenedor Docker, compatible con Ollama/LM Studio (AGPL). 🔗 Reddit
• Incidente AUR: borran llama.cpp-cuda y el rendimiento cae al 10% — La «alternativa equivalente» que sugirieron no lo era; aviso para quien compile o use paquetes binarios. 🔗 Reddit
• Qwen3.8-Flash-Next en 2×3090: +9-12% de decode a ~119k de contexto — Sustituir el fallback CUDA de top-k por una implementación propia, con screening de calidad incluido. 🔗 Reddit
• 2x R9700 + 64GB DDR5 con vLLM Radiance — Homelab con GPUs AMD que mueve Qwen 3.8 27B y Flash-Next sin drama; otra muestra de que ROCm ya es jugable. 🔗 Reddit
• M5 Max 128GB tras 5 meses de uso real — Hasta dónde llega la IA local en el portátil Apple de gama alta en el día a día. 🔗 YouTube
• Ling: INT4/vLLM vs Q5/llama.cpp invierten el ranking en contexto largo — El mismo modelo se comporta distinto según stack y profundidad de contexto; benchmarks con tablas en GitHub. 🔗 Reddit
• ¿Qué agent harness usáis y por qué? — Hilo con comparativas de primera mano entre claude code, deepagents (LangGraph) y los nuevos de cada semana. 🔗 Reddit
• Guía completa de LM Studio para empezar en local — 68 minutos de setup: hardware, modelos de HuggingFace y la mejor UI para arrancar. 🔗 YouTube
• Contra el FOMO en IA local — Recordatorio sano: comprar más hardware no hace mejor el hobby; el gear acquisition syndrome también existe aquí. 🔗 Reddit

🎯 Mi lectura de la semana

Lo que más me queda de esta semana es que la comunidad local está madurando: menos demos, más metodología. Los posts que mejor han envejecido son los que traen un método (cómo validar KV cache de verdad, cómo medir prefill vs decode, cómo calcular el breakeven de un Mac Studio) en vez de un resultado espectacular.

La muerte de AutoGen me parece el otro gran titular: el mapa de frameworks agénticos se está consolidando y los que estamos montando sistemas con herramientas reales, cron y aprobación humana tenemos que elegir bando pronto. Lo bueno es que las ideas (harnesses persistentes, guardrails, memoria) ya son portables entre frameworks.

¿Tienes algún comentario o quieres profundizar en algo? Respóndeme.
Si te ha gustado, suscríbete al blog en elmonomudo.com.

🤖 IA Weekly Digest #10 — Semana 36, 2026

Compilado el 4 de septiembre de 2026

Lo ligero compite directamente con lo pesado. Esta semana, tres frentes distintos demuestran que la optimización de software y los modelos sparse están recortando la dependencia de hardware caro: un Nemotron cuantizado que cabe en 16 GB con 262K de contexto, un portátil con eGPU igualando a un dual-3090, y un router que decide cuándo tu modelo local debe rendir la partida ante la nube. El mensaje ya no es «compra más GPU», sino «basta con mejores algoritmos».

🔝 Lo más importante de la semana

1. Nemotron-3.5-Lightning a 11.77 GB: un modelo serio de 16 GB con 262K de contexto

Qué ha pasado: NVIDIA publica una cuantización real de Nemotron-3.5-Lightning a 11.77 GB (~3.07 bpw), destapando que los «low-bit» anteriores eran en secreto ~4.70 bpw. Con llama.cpp parcheado, el modelo soporta 262K tokens de contexto en solo 16 GB de VRAM. Ojo: no funciona en LM Studio ni Ollama — requiere la compilación custom de llama.cpp.

Por qué importa: Democratiza el acceso a modelos avanzados con hardware mainstream. Análisis documental y agentes con memoria larga ya no exigen 40+ GB de VRAM: la calidad «gama alta» baja a tarjetas de gama media.

Para quién importa: Quien tenga una 4060 Ti 16GB, 4070 Ti Super o similar y quiera un modelo potente sin montar multi-GPU.

🔗 Reddit r/LocalLLaMA

2. HybridInfer: el router que detecta cuando tu modelo local se atasca y salta a la nube

Qué ha pasado: Un desarrollador publica (Apache-2.0) un router que monitoriza la ejecución de prompts en modelos locales y, ante stalls silenciosos (contexto desbordado, errores CUDA mudos, GPU OOM), redirige automáticamente la petición al cloud. No es failover simple: detecta patrones de stalling, estima tiempos de respuesta y decide cuándo compensa cambiar.

Por qué importa: Resuelve uno de los mayores dolores de correr modelos locales: quedarte colgado sin output y sin saber si la culpa es del modelo, la GPU o la red. Es un patrón arquitectural replicable en cualquier stack de inferencia local.

Para quién importa: Cualquiera con inferencia local — y muy especialmente productos SaaS basados en LLMs donde la fiabilidad es crítica.

🔗 Reddit r/LocalLLaMA

3. Qwen3.8-Flash-Next (104 GB MoE) en Strix Halo + eGPU: 84 tok/s a 0.4x del coste de un dual-3090

Qué ha pasado: Con la cuantización UD-Q4_K_XL de unsloth (103.69 GB), un portátil ASUS Strix Halo con eGPU RTX 3090 Ti pasa de 22 a 84 tokens/segundo ejecutando Qwen3.8-Flash-Next — un MoE con 512 expertos por capa, 36 capas de DeltaNet y tabla n-gram de 26.8 GiB — quedando a un problema de HumanEval+ de distancia de una caja dual-3090 con vLLM.

Por qué importa: Un portátil gamer + eGPU ya rivaliza con configuraciones de servidor dedicadas. La activación sparse del MoE hace el resto. Cambia la conversación sobre dónde ejecutar LLMs grandes.

Para quién importa: Devs e investigadores sin espacio, presupuesto o electricidad para un server dedicado.

🔗 Reddit r/LocalLLaMA

🧭 Radar rápido

• AVX2 acelera prompts en batch grande con llama.cpp — PR #27402 mejora el throughput en servidores multi-usuario con CPUs AVX2. 🔗 GitHub
• MTP rompe el tool calling en Qwen 3.6 9B — La Multi-Token Prediction acelera la generación pero degrada el JSON estructurado de las herramientas; desactiva MTP si dependes del tool calling. 🔗 Reddit
• -DGGML_CUDA_NCCL=ON puede empeorar el rendimiento — El flag «multi-GPU mejor» introdujo overhead de sincronización en ciertos setups: testea siempre con tu configuración concreta. 🔗 Reddit

🎯 Mi lectura de la semana

Llevo semanas siguiendo la misma señal y esta se consolida: cada vez basta con mejores algoritmos, no con más GPUs. Nemotron en 11 GB, un portátil compitiendo con dos 3090, y un router que orquesta local y nube con criterio. La optimización de software, los modelos sparse y la arquitectura inteligente están recortando la factura de hardware semana a semana.

Para quien monta agentes —como yo con mis flujos de escritura y publicación— el aprendizaje práctico es doble: vigila los fallos silenciosos del modelo local (un router tipo HybridInfer tiene mucho sentido), y no des MTP por sentado si dependes del tool calling.

¿Tienes algún comentario o quieres profundizar en algo? Respóndeme.

Si te ha gustado, suscríbete al blog en elmonomudo.com.

🤖 IA Weekly Digest #9 — Semana 35, 2026

Compilado el 28 de agosto de 2026

Esta semana la inferencia local dejó de ser privilegio de GPUs caros: DFlash acerca el speculative decoding a las CPUs, Quantization-Aware Healing consigue que un modelo 4-bit supere a su original en FP16, y Flue convierte el harness de Claude Code en un framework agéntico programable. Democratizar primero la ejecución, luego el control.

🔝 Lo más importante de la semana

1. Flue: un framework agéntico programable que funciona — del hype a lo real

Qué ha pasado: El equipo de Astro, conocidos por Vite y Nuxt, lanzó Flue, un framework open-source que transforma el harness de agentes de Claude Code en algo plenamente programable. En vez de ser solo un wrapper sobre herramientas predefinidas, Flue permite escribir lógica de agente como código estructurado — flujos condicionales, state management, composición de herramientas custom. Es la diferencia entre «el modelo decide qué herramienta usar» y «tú defines cómo se encadenan las decisiones».
Lo que realmente importa: La comunidad lleva meses pidiendo frameworks que no sean cajas negras. Flue rompe esa caja. No es otro LangChain — es una capa encima del agent harness que te da control explícito sobre el flujo de ejecución. Para quien haya probado AutoGen, CrewAI o LangGraph y se haya frustrado con la complejidad opaca, esto llega como un soplo de aire fresco.
Por qué importa: Si los frameworks agénticos actuales son cajas negras difíciles de depurar, Flue los hace transparentes y programables. Es un cambio de paradigma: dejar de tratar al agent como magia y empezar a tratarlo como software que puedes inspeccionar, testear y escalar.
🔗 YouTube

2. Speculative Decoding en CPUs con DFlash: casi 4x más rápido sin cambiar modelo

Qué ha pasado: Ehssan Khan publica en Towards Data Science resultados sólidos de DFlash aplicado a speculative decoding en CPUs. Con Qwen3.5-9B sobre Intel Xeon 6, obtuvo un throughput de 3.92x sobre generación autoregresiva pura, a concurrencia 1. La clave: usa el compute infrautilizado de la CPU para generar tokens speculativos que luego valida el modelo pequeño, sin alterar el resultado final ni requerir GPU.
Lo que realmente importa: Hasta ahora el speculative decoding era terreno exclusivo de GPUs con VRAM generosa. DFlash democratiza la técnica: si tienes un servidor con CPUs modernas pero sin GPU dedicada, puedes obtener speedups reales sin comprar hardware nuevo. Los tests con vLLM confirman que no es un truco de laboratorio — escala de forma predecible.
Por qué importa: Reduce la barrera de entrada para inferencia rápida. Cualquier empresa o particular con servidores x86 puede obtener rendimiento cercano al de GPU sin inversión adicional. Además, abre la puerta a despliegues serverless más baratos y eficientes.
🔗 Artículo completo

3. Quantization-Aware Healing: un modelo 4-bit comprimido que supera a su original en precisión completa

Qué ha pasado: Multiverse Computing presenta en Hugging Face Blog una técnica llamada Quantization-Aware Healing aplicada a modelos 4-bit. El hallazgo sorprendente: un modelo comprimido y reparado mediante este proceso no solo mantiene su accuracy, sino que la supera frente al original en precisión completa. El «healing» ajusta pesos durante la cuantización para compensar pérdidas de información, y el resultado es un modelo más compacto y más preciso que el baseline.
Lo que realmente importa: La cuantización suele implicar trade-offs — menos memoria, sí, pero también menos capacidad. Esto invierte la ecuación. Si un modelo 4-bit bien reparado puede superar al FP16 original, el coste de desplegar modelos locales se reduce radicalmente: menos VRAM, menos inference time, mejor resultado.
Por qué importa: Democratiza acceso a modelos grandes con hardware modesto. Un mismo modelo que antes necesitaba 80 GB de VRAM podría ahora correr en 20 GB con resultados iguales o mejores. Cambia la ecuación de viabilidad para despliegues edge, IoT y entornos constrained.
🔗 Blog Hugging Face

✅ Secundarios Útiles

Two RTX 3090 sin NVLink: 3.200 tokens/min con Qwen3.8-27B a contexto completo de 262K

Un usuario configura dos RTX 3090 en tensor parallel sin NVLink, ejecutando Qwen3.8-27B (W4A16-AutoRound) con vLLM 0.27.1. La combinación de MTP speculative decoding + GPU prefix cache + KV cache en fp8 le permite alcanzar ~3.200 tok/min manteniendo el contexto completo de 262K tokens. Demuestra que con la stack correcta, incluso hardware sin NVLink puede ofrecer rendimiento competitivo para agentes locales.
🔗 Hilo en r/LocalLLaMA

¿Cómo ejecutar Qwen3.6-35B-A3B con Continue en VSCodium? Solución definitiva

Un usuario con Intel Ultra 7 265K, 128 GB DDR5 y RTX 5090 (32 GB GDDR7) quiere reproducir la experiencia de Claude Desktop de forma local. Prueba con llama.cpp + extensión Continue en VSCodium. Aunque parte de una configuración sólida (hardware potente), enfrenta problemas de integración. El hilo genera soluciones prácticas de otros usuarios sobre flags de llama.cpp y config de Continue.
🔗 Hilo en r/LocalLLaMA

Ollama como cuello de botella: harness vs chat normal

Un usuario reporta que su Qwen3.6 35B A3B alcanza ~27 t/s en chat normal pero cae a 15 t/s cuando usa harnesses como OpenCode o Maki, con contexto menor. Investiga si es problema de la herramienta o de Ollama como intermediario. La conclusión comunitaria: Ollama añade overhead innecesario; llamar directamente a llama.cpp o vLLM elimina el bottleneck.
🔗 Hilo en r/LocalLLaMA

💬 Ángulo editorial

«La inferencia local deja de ser privilegio de GPUs caros.» De DFlash (CPU-speculative a 4x) a Quantization-Aware Healing (4-bit > FP16), esta semana muestra una tendencia clara: el hardware caro ya no es requisito indispensable para buen rendimiento. Combinado con Flue (agentes programables transparentes), hay un movimiento de abajo hacia arriba: democratizar primero la ejecución, luego el control. Quien tenga servidores x86 modestos o GPUs consumer pueden competir con stacks optimizados, no solo con specs brutas.

¿Tienes algún comentario o quieres que ajuste algo? Respóndeme.

Si te ha gustado, suscríbete al blog en elmonomudo.com.