El manual de LLM locales para 2026: De Raspberry Pi a RTX 5090

Hace dos años, “ejecutar un LLM localmente” era un experimento de fin de semana que terminaba en decepción. Descargabas un modelo de 13B, escuchabas el ventilador de tu laptop gritar y obtenías un token por segundo de resultados mediocres.

Hoy, en junio de 2026, esa conversación terminó. Una Raspberry Pi 5 puede ejecutar un chatbot coherente. Una MacBook Air puede igualar la calidad de GPT-3.5 en la mayoría de las tareas. Una RTX 3090 usada te dará algo cercano a GPT-4 por $700.

El hardware se puso al día. Los modelos se hicieron más pequeños. Las herramientas maduraron.

Ahora la pregunta no es si puedes ejecutar un LLM local. Es qué herramienta deberías usar para ejecutarlo. Y hay al menos doce opciones serias, con fortalezas superpuestas, nombres confusos y filosofías muy diferentes.

Esta guía aclara todo.

¿Por qué ejecutar un LLM localmente?

Antes de entrar en herramientas, los argumentos honestos para ir a lo local:

• Privacidad. Tus indicaciones y datos nunca salen de tu máquina. Para abogados, médicos, analistas financieros y cualquiera que maneje información sensible, esto no es opcional.
• Costo. Si usas IA intensivamente, los modelos locales se pagan solos en unos meses. Sin facturación por token, sin límites de velocidad.
• Sin conexión. Aviones, sótanos, instalaciones seguras, regiones con internet deficiente: los LLM locales funcionan donde la nube no.
• Sin censura. Los modelos de pesos abiertos no rechazan tareas benignas por un RLHF demasiado cauteloso.
• Aprendizaje. Si quieres entender realmente cómo funcionan estos sistemas, ejecutarlos tú mismo es el camino más rápido.

Los argumentos honestos en contra:

• Techo de calidad. A junio de 2026, incluso los mejores modelos locales están por detrás de GPT-5.1 y Claude Opus 4.8 en las tareas de razonamiento más difíciles. Estás eligiendo privacidad y costo sobre inteligencia máxima.
• Limitación de hardware. Estás limitado por lo que tienes. Un modelo de 7B en una laptop nunca igualará a un modelo de 405B en un centro de datos.
• Costo de configuración. Incluso las herramientas más fáciles tienen una curva de aprendizaje única.

Para el 80% del trabajo diario (redacción, resumen, asistencia de código, investigación), los modelos locales ya son genuinamente suficientemente buenos. Para el 20% más difícil, mantén también una suscripción en la nube.

El panorama general

Antes de comparar herramientas, entiende las capas. La mayoría de las herramientas de LLM locales se construyen sobre un motor: llama.cpp. Es el motor de inferencia en C/C++ que hace posible todo lo demás. Ollama, LM Studio, GPT4All, Jan y muchas otras usan llama.cpp (o una bifurcación) internamente.

Lo que diferencia a las herramientas no es la velocidad de inferencia bruta, sino el envoltorio. La UX, la API, la gestión de modelos, el soporte de plataforma, la filosofía.

Las herramientas se dividen aproximadamente en cuatro categorías:

Elige tu capa según lo que intentes hacer.

Las 8 herramientas que importan, clasificadas por caso de uso

1. Ollama: el punto de partida predeterminado para la mayoría

Qué es: Un ejecutor de LLM local centrado en CLI con una API REST incorporada. Instálalo, ejecuta un comando y tienes un endpoint compatible con OpenAI en localhost.

Por qué domina: Cada cadena de herramientas importante de LLM (LangChain, LlamaIndex, Aider, Continue, Cursor, Zed, Open WebUI) tiene soporte de primera clase para Ollama o funciona directamente a través de la capa de compatibilidad de OpenAI. Si estás automatizando algo, Ollama es el camino de menor resistencia.

Hardware: Funciona en Mac (Metal), Windows (CUDA/Vulkan), Linux (CUDA/ROCm) e incluso Raspberry Pi. La aceleración por GPU es automática donde se admite.

Ventajas:

• Configuración más simple posible: ollama pull llama3.2 y ya estás ejecutando
• Modo sin interfaz gráfica funciona en servidores y Docker listo para usar
• Ecosistema masivo: prácticamente todos los IDE y herramientas de IA se integran con él
• Licencia MIT, sin telemetría

Desventajas:

• Sin interfaz gráfica. Solo terminal por defecto (las interfaces web existen como proyectos separados)
• El soporte predeterminado de Vulkan aún no está presente; necesita compilación personalizada para AMD en Windows
• El uso de disco puede dispararse si acumulas modelos (usa ~4.6 GB en sí mismo más los modelos)

Mejor para: Desarrolladores, cualquiera que construya aplicaciones sobre LLM locales, implementaciones en servidores, flujos de trabajo de automatización.

Evítalo si: Quieres una experiencia GUI pulida para charlas informales.

2. LM Studio: la experiencia de escritorio pulida

Qué es: Una aplicación de escritorio completa para descubrir, descargar y ejecutar modelos. Interfaz hermosa, visualización de transmisión de tokens en tiempo real, interfaz de chat incorporada, servidor compatible con OpenAI con un interruptor.

Por qué la gente lo ama: Es el camino más fácil desde "he oído hablar de los LLM locales" hasta "estoy charlando con uno". El navegador de Hugging Face dentro de la aplicación te permite filtrar por tamaño de archivo y cuantización, ver tarjetas de modelo y descargar con barras de progreso.

Hardware: Mac (con aceleración MLX nativa en Apple Silicon, una ventaja real), Windows, Linux. Tiene soporte Vulkan listo para usar, lo que importa si estás en AMD.

Ventajas:

• Interfaz GUI de primera clase para descubrimiento de modelos y chat
• Soporte MLX nativo en Apple Silicon da una ventaja real de rendimiento en Mac
• Servidor API incorporado (compatible con OpenAI) para cuando quieras escribir código contra él
• Versiones recientes (0.3.5+) agregaron modo "Local LLM Service" sin interfaz y carga de modelos JIT
• Soporte MCP añadido en 0.4.0: conecta herramientas estilo Claude a tu modelo local

Desventajas:

• Código cerrado. Analíticas anónimas activadas por defecto (se pueden desactivar en configuración)
• Más pesado en disco y RAM que las herramientas CLI (aplicación Electron)
• El modo servidor es opcional y requiere que la aplicación esté ejecutándose; no es ideal para implementaciones de servidor sin cabeza reales
• CLI (lms) es funcional pero menos rica en funciones que la de Ollama

Mejor para: Personas que quieran explorar LLM locales visualmente, usuarios de Mac (MLX es la función estrella), ingenieros de prompts que iteran en prompts del sistema.

Evítalo si: Necesitas implementar en un servidor sin cabeza, o el código abierto es un requisito estricto.

3. llama.cpp: el motor que todos los demás usan

Qué es: La biblioteca de inferencia en C/C++ que potencia la mayor parte del ecosistema de LLM local. Creada originalmente para ejecutar modelos LLaMA en CPUs de consumo, ahora es un estándar de la industria.

Por qué es importante: Ejecutar llama.cpp directamente evita la sobrecarga del envoltorio. Es la opción más ligera: una comparación reciente lo midió en menos de 90 MB en Windows, frente a ~4.6 GB de Ollama con todas sus dependencias incluidas.

Hardware: Funciona en todo. x86, ARM, Apple Silicon, NVIDIA CUDA, AMD ROCm, Intel oneAPI, Vulkan, OpenCL. Incluyendo Raspberry Pi, teléfonos Android (a través de Termux) y laptops viejas.

Ventajas:

• Huella mínima, cero dependencias innecesarias
• Máximo rendimiento y personalización
• El backend Vulkan funciona en todos los fabricantes de GPU: mejor camino para AMD en Windows
• Incluye CLI (llama-cli), un servidor (llama-server) y una interfaz web básica
• Licencia más permisiva

Desventajas:

• Curva de aprendizaje más pronunciada: banderas, formatos de cuantización, opciones de compilación
• Sin registro de modelos amigable: encuentras y descargas los GGUF tú mismo (generalmente de Hugging Face)
• Sin "magia lista para usar": configuras todo

Mejor para: Usuarios avanzados, usuarios de AMD en Windows, cualquiera que implemente en hardware integrado o inusual, desarrolladores que quieran la mínima sobrecarga.

Evítalo si: Quieres un camino rápido para chatear y no disfrutas leer documentación.

4. GPT4All: el especialista en hardware de gama baja

Qué es: Una aplicación de escritorio de Nomic AI optimizada específicamente para ejecutarse en máquinas sin aceleración GPU.

Por qué existe: La mayoría de las herramientas de LLM local asumen que tienes al menos una GPU decente. GPT4All invierte esto: está diseñado para laptops viejas, máquinas del trabajo y cualquier computadora donde CUDA no esté disponible.

Hardware: Se ejecuta en CPUs sin aceleración GPU y está optimizado para máquinas con 8 GB de RAM o menos. Requisitos de hardware: 4 GB de RAM mínimo, 8 GB recomendado. Cualquier CPU de los últimos 5 años.

Ventajas:

• El listón de hardware más bajo de cualquier herramienta en esta guía
• GUI pulida, incorporación fácil para usuarios no técnicos
• Fuerte historia de privacidad (solo telemetría opt-in)
• Multiplataforma (Mac, Windows, Linux)

Desventajas:

• Biblioteca de modelos más pequeña que Ollama o LM Studio
• API menos madura que los competidores
• El techo de rendimiento es bajo; lo superarás si actualizas el hardware

Mejor para: Usuarios con hardware antiguo, máquinas del trabajo sin derechos de administrador para instalar controladores, escuelas, organizaciones que necesiten IA local accesible con presupuestos limitados.

Evítalo si: Tienes una GPU moderna: estás dejando rendimiento sobre la mesa.

5. Jan AI: el reemplazo de ChatGPT de código abierto

Qué es: Una aplicación de escritorio que aspira a ser una alternativa completamente local y de código abierto a ChatGPT. Interfaz limpia, soporte de múltiples modelos, integraciones opcionales en la nube si quieres uso híbrido.

Por qué destaca: Es la opción más explícitamente centrada en la privacidad. Jan AI y Ollama no recopilan telemetría (código abierto MIT). Construido para usuarios que quieren la seguridad, no solo las afirmaciones, de que nada sale de su máquina.

Hardware: Mac, Windows, Linux. Más ligero que LM Studio pero más pesado que GPT4All.

Ventajas:

• Completamente código abierto, completamente auditable
• Cero telemetría por defecto
• Sensación limpia de aplicación de chat: lo más cercano a "ChatGPT pero local"
• Admite proveedores de modelos (local + nube opcional) si quieres híbrido
• Servidor API incorporado

Desventajas:

• Ecosistema más pequeño que Ollama o LM Studio
• Algunas funciones avanzadas (MCP, flujos de agentes avanzados) van por detrás de los líderes
• Biblioteca de modelos no tan completa como el navegador HuggingFace de LM Studio

Mejor para: Usuarios centrados en privacidad, profesionales de la UE que trabajan bajo GDPR, cualquiera que quiera una experiencia similar a ChatGPT con auditabilidad estricta.

Evítalo si: Necesitas funciones de vanguardia como integración MCP hoy, o la mayor selección posible de modelos.

6. vLLM: el rey del rendimiento en producción

Qué es: Un servidor de inferencia de alto rendimiento diseñado para servir a muchos usuarios concurrentes desde un solo equipo con GPU. Creado en UC Berkeley, ahora la opción de facto para APIs de LLM autogestionadas en producción.

Por qué es importante: La mayoría de las herramientas locales optimizan para la latencia de un solo usuario. vLLM optimiza para el rendimiento. Su técnica PagedAttention reduce la fragmentación de memoria en un 50%+ y ofrece 2-4 veces más solicitudes concurrentes que las alternativas en el mismo hardware.

Hardware: Principalmente Linux + NVIDIA. Territorio A100/H100 para implementaciones serias, aunque se ejecuta en GPUs de consumo para desarrollo.

Ventajas:

• 2-4 veces mayor rendimiento que la atención ingenua en la misma GPU
• Compatible con Kubernetes, métricas integradas, API compatible con OpenAI
• Paralelismo de tensores a través de múltiples GPUs
• Admite modelos multimodales (LLaVA, Qwen-VL)
• La elección correcta si estás sirviendo un LLM a usuarios

Desventajas:

• Solo Linux + NVIDIA. Si estás en Mac o Windows, esto no es para ti
• Configuración más pesada, impulsada por configuración
• Excesivo para flujos de trabajo de un solo usuario

Mejor para: Empresas que autogestionan una API de LLM, cualquiera que sirva IA local a múltiples usuarios, equipos de infraestructura.

Evítalo si: Eres un usuario único en una laptop. Usa Ollama.

7. LocalAI: el concentrador universal de API

Qué es: Una capa de orquestación compatible con OpenAI que puede enrutar solicitudes a múltiples backends de inferencia, manejar modelos de texto/imagen/audio/video y actuar como middleware entre tus aplicaciones y el motor de inferencia que uses realmente.

Por qué es útil: Si quieres una superficie de API única que abstraiga cualquier backend que estés ejecutando (llama.cpp hoy, vLLM mañana, un servidor MLX el próximo año), LocalAI es el envoltorio.

Hardware: Linux preferido, compatible con Docker.

Ventajas:

• Un único endpoint compatible con OpenAI independientemente del backend
• Multimodal (generación de texto, imágenes, audio, embeddings, reranking, video)
• Reemplazo directo de la API de OpenAI en aplicaciones existentes
• Fuerte para escenarios de middleware empresarial

Desventajas:

• Significativamente más complejo que Ollama para configuraciones de un solo usuario
• La documentación puede ser escasa
• Comunidad más pequeña que Ollama o LM Studio

Mejor para: Implementaciones empresariales, equipos que construyen productos que necesitan una API local estable a través de backends cambiantes, cualquiera que sirva IA multimodal localmente.

Evítalo si: Solo estás intentando chatear con un modelo.

8. MLX (nativo de Apple Silicon): la elección del usuario avanzado de Mac

Qué es: El framework de aprendizaje automático de Apple, optimizado para la arquitectura de memoria unificada de Apple Silicon. LM Studio lo usa de forma nativa; también puedes usarlo directamente a través de Python.

Por qué las Mac están dominando silenciosamente: La memoria unificada significa que una MacBook Pro M4 Max con 128 GB puede ejecutar modelos de 70B parámetros que requerirían una GPU dedicada de $5,000 en PC. La mejor experiencia de LLM local en 2026 está en Apple Silicon, punto. La memoria unificada permite que modelos que requerirían una GPU dedicada en PC se ejecuten en una Mac usando memoria RAM+GPU compartida.

Hardware: Solo Apple Silicon (M1 en adelante).

Ventajas:

• Mejor rendimiento por dólar en hardware Mac
• Nativo de la plataforma: sin capas de traducción incómodas
• La combinación de MLX + LM Studio da a los usuarios de Mac una ventaja real
• La arquitectura de memoria unificada hace que los modelos grandes sean accesibles sin GPUs empresariales

Desventajas:

• Solo Mac
• Ecosistema más pequeño que llama.cpp
• Requiere LM Studio o cierta comodidad con Python para usar

Mejor para: Cualquiera que hable en serio sobre LLM locales en una Mac.

Evítalo si: No estás en Apple Silicon.

La combinación hardware-herramienta

Aquí está la pregunta práctica que la mayoría de los artículos evitan: ¿qué debería instalar realmente según lo que tengo?

Si tienes una Raspberry Pi 5 (8 GB o 16 GB)

Usa: Ollama (Raspberry Pi OS lo soporta de forma nativa) Modelos para probar: TinyLlama 1.1B, Phi-3 Mini 3.8B, Gemma 3 1B Expectativa realista: 2-8 tokens/seg dependiendo del tamaño del modelo. Utilizable para chatbots, automatización del hogar, preguntas y respuestas simples. No para codificación seria o razonamiento largo.

Si tienes una laptop vieja (Intel i5, sin GPU, 8 GB RAM)

Usa: GPT4All Modelos para probar: Phi-3 Mini, Llama 3.2 1B, TinyLlama Expectativa realista: Lento pero funcional. Mejor para consultas cortas que para generación larga.

Si tienes una laptop moderna con gráficos integrados (16 GB RAM, sin GPU dedicada)

Usa: LM Studio (modo CPU) u Ollama Modelos para probar: Llama 3.2 3B, Gemma 3 4B, Qwen 3 7B (con paciencia) Expectativa realista: Bueno para chat, redacción, resumen. 5-15 tokens/seg en modelos pequeños.

Si tienes una MacBook Air M2/M3/M4

Usa: LM Studio con backend MLX Modelos para probar: Llama 3.2 8B, Qwen 3 14B, Mistral Nemo Expectativa realista: Sorprendentemente rápido: la memoria unificada y el Neural Engine de Apple Silicon rinden por encima de su peso. 20-40 tokens/seg en modelos medianos.

Si tienes una MacBook Pro M3/M4 Max (36 GB+ RAM)

Usa: LM Studio + MLX, u Ollama Modelos para probar: Llama 3.3 70B (con 64 GB+), Qwen 3 32B, DeepSeek-V3 destilado Expectativa realista: Genuinamente utilizable para trabajo serio. Mac Studio M4 Max (128 GB de memoria unificada): ejecuta Llama 3.3 70B a ~20 t/s mientras mantienes otras aplicaciones abiertas.

Si tienes un escritorio Windows/Linux con GPU NVIDIA (RTX 3060–4070)

Usa: Ollama (más fácil) o llama.cpp (más eficiente) Modelos para probar: Llama 3.2 8B, Qwen 3 14B, Mistral 7B Expectativa realista: Inferencia rápida, 30-80 tokens/seg en modelos cuantizados que quepan en VRAM.

Si tienes una GPU AMD en Windows

Usa: llama.cpp con backend Vulkan (más fiable) o LM Studio (Vulkan listo para usar) Por qué: El soporte ROCm para AMD en Windows es prácticamente inexistente. Vulkan es el salvavidas. Expectativa realista: El rendimiento va por detrás de NVIDIA significativamente, pero es mucho mejor que solo CPU.

Si tienes una estación de trabajo seria (RTX 4090, RTX 5090, multi-GPU)

Usa: vLLM para servir, Ollama o llama.cpp para uso personal Modelos para probar: Llama 3.3 70B, Qwen 3 72B, DeepSeek-V3 Expectativa realista: Calidad casi de nube para la mayoría de las tareas. Aquí es donde la IA local deja de ser un compromiso.

Si estás ejecutando producción para un equipo (múltiples usuarios)

Usa: vLLM o LocalAI Hardware: A100/H100 ideal, RTX 4090 mínimo para equipos pequeños Expectativa realista: 10-50 usuarios concurrentes en un solo A100 dependiendo del tamaño del modelo.

Matriz de comparación rápida

El veredicto honesto: cuál instalar realmente

Si quieres que corte todo el rollo y solo te diga qué hacer:

Para la mayoría de las personas: instala tanto Ollama como LM Studio. Usa LM Studio para descubrir y probar modelos con su GUI. Usa Ollama como el entorno de ejecución real al que se conectan tus scripts, IDEs y aplicaciones. Los dos se complementan: no son competidores. Usa LM Studio en tu laptop para descubrimiento e iteración de prompts, y ejecuta Ollama en el servidor, o en Docker en tu estación de trabajo, para todo lo relacionado con automatización.

Para hardware antiguo: GPT4All. Nada más tiene sentido.

Para una Raspberry Pi o dispositivo periférico: Ollama. La Pi 5 con 16 GB y un buen modelo de 3B cuantizado es genuinamente utilizable.

Para usuarios de GPU AMD: llama.cpp con Vulkan, o LM Studio si quieres una GUI. Salta Ollama en Windows por ahora.

Para usuarios de Mac con Apple Silicon: LM Studio con MLX. El backend MLX es la función estrella y solo LM Studio lo presenta de forma limpia.

Para maximalistas de la privacidad: Jan AI. Completamente código abierto, cero telemetría, compatible con GDPR.

Para servir a múltiples usuarios: vLLM en Linux con NVIDIA. Nada más compite en rendimiento.

Para personalización profunda o implementación integrada: llama.cpp directamente. Vale la pena la curva de aprendizaje.

Lo que viene a continuación

Tres tendencias a seguir en el resto de 2026:

1. MCP se convierte en estándar. El Protocolo de Contexto del Modelo, el estándar para conectar herramientas a LLM, ya está en LM Studio. Ollama lo seguirá. Para el cuarto trimestre, cada herramienta local seria lo soportará de forma nativa, haciendo que los modelos locales sean reemplazos directos de Claude en flujos de trabajo de agentes.
2. El móvil despega. Los modelos en el dispositivo de Apple, llama.cpp en Android a través de Termux y las mejoras de cuantización significan que la inferencia local seria llegará a los teléfonos. No "resume este correo", sino flujos de trabajo de agentes reales.
3. La brecha con la nube se reduce pero no se cierra. Modelos de pesos abiertos como Llama 4 y Qwen 4 seguirán cerrando la brecha de calidad. Pero la frontera absoluta (Claude Opus 4.7, GPT-5.1, Gemini 3) se mantendrá solo en la nube en el futuro previsible, porque la ventaja de escala es estructural.

La conclusión final

Los LLM locales ya no son un proyecto de ciencia. Son una opción real y práctica que complementa, no reemplaza, la IA en la nube. Para trabajo sensible a la privacidad, escenarios sin conexión, uso diario intensivo y aprendizaje, la opción local es la correcta. Para las tareas de razonamiento más difíciles, la nube sigue ganando.

La buena noticia es que las herramientas finalmente han madurado hasta el punto de que no necesitas un doctorado para configurar esto. Elige la herramienta que coincida con tu hardware y caso de uso de la lista anterior. Instálala esta noche. Para el fin de semana, tendrás un asistente de IA privado ejecutándose en tu propia máquina.

Eso es lo que nadie te está diciendo: en 2026, la pregunta no es si puedes ejecutar un LLM útil localmente. Es qué flujo de trabajo deberías delegarle a uno.

Si esto te fue útil, sigue mi canal de Telegram:

[https://t.me/+ygATQAt9sUM1N2U6