Esta semana ejecuté un modelo de IA completamente local en mi MacBook. No por curiosidad. No como una demostración de "a ver qué es esto". Estaba genuinamente intentando usarlo en mi flujo de trabajo real, con mi sistema de agente real, en tareas reales que tenía que hacer.
El modelo era Qwen 3.6 con 9 mil millones de parámetros. Mi máquina es un M1 Pro con 16 GB de RAM. No un Mac Studio. No una estación de trabajo. Una laptop normal. Qwen 3.6 es un lanzamiento reciente y las variantes más pequeñas son lo que hizo que valiera la pena probar este experimento ahora, no dentro de seis meses.
Funcionó.
No "funcionó" en el sentido de que se inició sin errores. Funcionó en el sentido de que me senté a hacer cosas con él y no sentí que estuviera luchando contra el hardware. Era más lento que Claude. Obviamente. Pero la lentitud estaba dentro del rango aceptable. El tipo de lentitud en la que eres consciente de que existe, pero no te sientes castigado por ello.
Eso me sorprendió más de lo que esperaba.
Dos historias diferentes de "IA local"
Antes de entrar en el experimento, hay una distinción que vale la pena hacer porque constantemente se reduce a una sola cosa.
La primera versión de "IA local" es un agente local con un modelo en la nube. Todo el código vive en tu dispositivo. Tu sistema de memoria, tus scripts de automatización, tus integraciones de herramientas. Pero el modelo en sí es remoto. Estás llamando a Claude u OpenAI desde tu laptop, pero la arquitectura que dirige el espectáculo es tuya, en tu hardware.
Y también es por eso que la gente comenzó a comprar Mac Minis este año para alojar frameworks de agentes locales. Escribí sobre esto cuando OpenClaw se volvió viral: el dispositivo es la parte barata. Un Mac Mini base cuesta alrededor de $599. El modelo en la nube es el que hace el pensamiento pesado. Mantienes la orquestación local, privada y siempre activa, sin necesidad de un nivel de suscripción siempre activo ni depender de la infraestructura de otra persona para tu automatización.
La segunda versión es un LLM completamente local. El modelo en sí vive en tu dispositivo. Sin llamadas API. Sin dependencia de la nube. Sin que los datos salgan de tu máquina. Durante mucho tiempo, este segundo camino implicaba hardware serio, porque los modelos que valía la pena ejecutar eran grandes, y grande significaba caro. Tendrías que buscar un Mac Studio muy potente o más para conseguir algo genuinamente capaz.
Esa ecuación está empezando a cambiar.
El experimento en el MacBook
Qwen 3.6 con 9 mil millones de parámetros funciona aceptablemente en 16 GB de RAM. Ese es el hallazgo principal, y es más importante de lo que parece.
Usé Ollama, que es efectivamente una instalación de un solo comando que maneja toda la gestión del modelo y te da una API local compatible con OpenAI en localhost:11434. Cualquier herramienta que soporte el formato de OpenAI puede apuntar a ella. Incluyendo Claude Code, que es lo que uso como interfaz para Wiz.
Si quieres replicar esto, son tres comandos:
<code-segment id="0" lang="text">
ollama pull qwen3.6:9b
ollama run qwen3.6:9b
</code-segment>
Eso es todo. Ollama inicia un servidor local en localhost:11434 con una API compatible con OpenAI. Si usas Claude Code, puedes apuntarlo a Ollama configurando la URL base. Cualquier herramienta construida para el formato de la API de OpenAI funciona. Ahora estás sin conexión, sin clave API, sin costo por token.
Esto es lo que realmente sucedió:
La recuperación de memoria funcionó sorprendentemente bien. Le pedí que extrajera contexto de mis archivos de memoria. Los leyó y encontró información relevante con una precisión razonable. La síntesis no fue de nivel Claude, pero la información se recuperó y se usó correctamente. Para una tarea que es fundamentalmente "leer un archivo, encontrar la parte relevante, reportarla", un modelo de 9B lo maneja perfectamente.
La llamada a herramientas fue interesante. Qwen podía invocar las herramientas en mi sistema de agente con una precisión razonable en solicitudes directas. Esto importa más que la calidad del texto bruto para el trabajo de agente. Cuando piensas en la optimización de costos de IA, el modelo que puede llamar a la herramienta correcta en el momento correcto suele ser más valioso que el modelo que escribe la prosa más hermosa.
¿Tareas creativas y razonamiento complejo? No es lo mismo. Cuando pedí ayuda para escribir, análisis o cualquier cosa que requiriera síntesis real, la brecha de calidad fue notable. Esto no es una crítica. Es solo una observación honesta sobre lo que un modelo de 9B es y lo que no es. También probé la variante de 4B, y como era de esperar, la caída de capacidad fue significativa. El 9B es donde dibujaría la línea de usabilidad para mi tipo de trabajo.
El marco importante aquí: esto no se trata de comparar Qwen con Claude Opus. No están en la misma categoría. Se trata de si un modelo local puede manejar un subconjunto real del trabajo que hago, y la respuesta es sí. Un subconjunto real y no trivial.
También hay un camino que aún no he explorado pero que me interesa: el ajuste fino. Puedes ajustar un modelo de 4B o 9B en tu propio hardware. Alimentarlo con tu escritura, tus preferencias, tu terminología, tu estilo. Obtener algo más personalizado que cualquier modelo genérico. Esto es posible en un MacBook. Lleva tiempo, pero no es un ejercicio teórico. Para tareas específicas y personales donde sabes exactamente lo que quieres que haga el modelo, un modelo pequeño ajustado podría superar a uno grande de uso general.
El experimento en el iPhone
El experimento en el iPhone fue más por curiosidad que por utilidad inmediata. Pero terminó siendo la parte que más me sorprendió.
La aplicación que usé se llama PocketPal AI (gratuita en la App Store). Es una aplicación de código abierto que te permite descargar y ejecutar modelos de lenguaje directamente en tu iPhone, completamente local. Buscas modelos en Hugging Face, los descargas por Wi-Fi una vez y luego los ejecutas sin necesidad de internet. La forma más sencilla de verificar que funciona: activa el modo avión, luego pregúntale algo al modelo. Responde. Nada salió de tu teléfono.
Ejecuté Qwen con 0.8 mil millones y 2 mil millones de parámetros en mi iPhone 17 Pro. La configuración es simple:
<code-segment id="1" lang="text">
- Instala PocketPal AI desde la App Store
- Abre la aplicación, ve al explorador de modelos
- Busca Qwen y descarga una variante pequeña (0.5B o 1.5B para teléfonos más antiguos, 2B para los más nuevos como el 17 Pro)
- Comienza a chatear, luego activa el modo avión para confirmar que es completamente local </code-segment>
La pregunta obvia no era "¿es esto tan bueno como Claude?" sino simplemente "¿puedes caber algo localmente útil en un teléfono?" La respuesta es sí, pero con límites claros. Estos son modelos diminutos. Manejan tareas de texto básicas y preguntas y respuestas cortas con una calidad razonable. No te van a ayudar a construir una aplicación de la noche a la mañana. Pero funcionan. Completamente en el dispositivo. Totalmente local.
La implicación más interesante aquí no es la capacidad del modelo. Es la señal del hardware. Un iPhone ejecutando un LLM local en 2026 significa que los teléfonos inteligentes ahora son lo suficientemente potentes para hacer esto. Eso es significativo. No porque el modelo de 0.8B sea impresionante, sino porque el hardware que ya tienes en tu bolsillo ha cruzado un umbral.
El ángulo de la privacidad también es real. Cuando nada sale de tu dispositivo, no tienes que pensar en qué estás enviando a dónde. Sin términos de servicio que regulen tus consultas. Sin registros de API. Solo tú y los pesos ejecutándose en tu silicio. He estado pensando en esto desde que perdí el acceso a seis meses de datos de voz cuando un servicio de IA en la nube fue prohibido en la UE. Lo local es un tipo diferente de resiliencia.
El ángulo del costo
Aquí está la razón práctica por la que esto importa más allá del interés técnico: las suscripciones de IA se acumulan rápido cuando ejecutas muchas tareas de agente. Esto no es hipotético. Sigo mi uso de cerca.
No todas las tareas requieren Opus. Mucho trabajo de agente es genuinamente simple: leer un archivo, formatear algo, resumir una nota corta, responder una pregunta factual desde el contexto. Enrutar esas tareas a un modelo local en lugar de un modelo fronterizo cambia las matemáticas considerablemente.
La próxima versión de Haiku es algo que estoy siguiendo de cerca. Sigue mejorando y el costo sigue bajando. Los modelos locales siguen la misma trayectoria, solo que en una capa diferente.
Hacia dónde va esto
Creo que el futuro de la IA involucrará mucho más cómputo local de lo que sugiere la conversación actual.
La forma que veo: modelos en la nube para lo difícil. Razonamiento complejo, trabajo creativo, decisiones arquitectónicas, cosas que requieren dirección y visión reales. Pero para los cientos de pequeñas tareas cognitivas que ocurren en un sistema de agente cada día, los modelos locales serán lo suficientemente buenos como para que tenga sentido enrutar.
El argumento del hardware también es importante aquí. Mira los últimos cuatro años de silicio de consumo. M1, M2, M3, M4, M5. Cada generación significativamente más rápida y más eficiente en memoria que la anterior. La trayectoria en ambos lados, mejores modelos y mejor hardware, apunta hacia el mismo lugar. Dentro de unos años, las laptops que la gente ya posee ejecutarán modelos que se sentirán notablemente más capaces que los que ejecuté esta semana.
Mi predicción aproximada: en tres años, habrá modelos locales ajustados a casos de uso específicos que competirán genuinamente con los modelos fronterizos de hoy en esas tareas específicas. No en razonamiento general. No en síntesis creativa. Pero en "haz esta cosa específica que me importa, rápido, de forma privada, sin conexión a internet". Esa es una categoría muy real y útil.
También hay un ángulo ambiental del que no se habla lo suficiente. El costo energético y de infraestructura de una consulta que llega a un centro de datos es órdenes de magnitud mayor que la misma inferencia ejecutándose en silicio local. Si la mayoría de las tareas rutinarias de IA se trasladan a lo local, la ecuación de recursos cambia. No resuelta, pero significativamente diferente.
Ahora mismo las compensaciones son claras: los modelos locales son limitados, el ajuste fino requiere esfuerzo, y la brecha de capacidad con los modelos fronterizos es real. Pero la dirección de viaje no es ambigua. La brecha se está cerrando. Lo probé esta semana en hardware que he tenido durante años, y funcionó lo suficientemente bien como para hacerme pensar en dónde enruto las tareas.
Si tienes curiosidad: instala Ollama, descarga Qwen 3.6 en 9B, y prueba algo simple en tu flujo de trabajo. La experiencia es diferente a ejecutar un benchmark. Es sorprendentemente real.
Si esto fue útil - sigue mi canal de Telegram:
