• Saltar al contenido principal
  • Saltar a la barra lateral principal
  • Blog
  • Sistemas Operativos
    • Todos los sistemas operativos del Raspberry Pi Imager en 2026
  • Tipos de Raspberry Pi
    • Selector interactivo de Raspberry Pi
    • Raspberry Pi: rivales y alternativas SBC en 2026 con Armbian y DietPi
  • Glosario
  • FAQ
  • Contacto
  • Cookies y RGPD
  • Acerca de

Raspberry para torpes

Blog sobre Raspberry Pi en español desde 2013. Guías de configuración, hardware, sistemas operativos y proyectos para todos los niveles.

cluster raspi LLM

Clúster Raspberry Pi LLM con 4 x Pi 5

29 octubre, 2026 by manuti Deja un comentario

☕
¿El blog te ha sido útil?Puedes invitarme a un café en Ko-fi. Sin suscripciones, sin compromisos.
Invitar a un café

Me llegó por la página de contacto del blog un repositorio de GitHub relacionado con mis artículos sobre Potato OS. Describe un clúster Raspberry Pi LLM formado por cuatro Raspberry Pi 5 de 16 GB que ejecuta Qwen3-30B-A3B, un modelo MoE de 30.000 millones de parámetros. El proyecto declara 15,1 tokens por segundo al generar texto. La duda es cómo se llega a esa cifra cuando las placas hablan entre sí por un cable Gigabit Ethernet.

La respuesta corta es que la red se lleva entre una cuarta parte y un tercio del tiempo de cada token. El resto de la mejora sale de repartir la memoria entre cuatro placas, de usar un modelo MoE y de muchos ajustes pequeños. Además, las cifras tienen matices que explico más abajo.

Qué aporta distributed-llama y qué añade el fork

distributed-llama es un proyecto de código abierto con licencia MIT de Bartłomiej Tadych (b4rtaz). El repositorio que me llegó es un fork de Hellomatik. La base original ya incluye lo importante: paralelismo de tensores, sincronización entre nodos por Ethernet y un nodo raíz que carga el modelo y reparte los pesos. También trae un servidor API propio y funciona en Linux, macOS y Windows, con optimizaciones para ARM y para CPU x86_64 con AVX2.

El original tiene sus límites. Solo admite 1, 2, 4 nodos y así sucesivamente, es decir, potencias de dos, y el máximo de nodos coincide con el número de cabezas KV del modelo. Además solo acepta dos combinaciones de cuantización: modelo Q40 con datos de sincronización en Q80, o F32 en ambos. Según el registro de la discusión #255, Qwen3-30B-A3B tiene 4 cabezas KV. Por tanto, cuatro nodos serían el máximo para este modelo, una deducción mía a partir de ambos documentos.

El fork de Hellomatik parte de la versión 0.16.5 y añade parches en el código, servicios de systemd, ajustes de kernel y de la tarjeta de red, un proxy en Python y un informe técnico con DOI en Zenodo. La firma del informe es Daniel Correa Villa. El reparto del trabajo sigue siendo el del original.

El hardware y el modelo del clúster

Cada nodo es una Raspberry Pi 5 de 16 GB con SSD NVMe, procesador BCM2712 con cuatro núcleos Cortex-A76 a 2,4 GHz sin overclock y memoria LPDDR4X de unos 17 GB/s. Usan Debian 13 con kernel 6.12.75. Ninguna placa emplea GPU ni NPU para calcular.

El modelo pesa 17 GB según la lista del proyecto original y está en formato Q40, una cuantización de 4 bits. Ese fichero no cabe en una Raspberry Pi 5 de 16 GB, ni siquiera sin contar el sistema. Repartido entre cuatro placas, cada una guarda unos 4,3 GB de pesos, según mi cuenta. Así que el clúster resuelve ante todo un problema de capacidad, y la velocidad viene después.

cluster-raspberry-pi-5

Un clúster Raspberry Pi LLM reparte cada capa entre las cuatro placas

Con paralelismo de tensores, cada capa del modelo se divide en cuatro trozos y cada Raspberry Pi calcula el suyo. El nodo raíz también calcula su parte, y los otros tres solo calculan. Los cálculos usan las instrucciones NEON de producto escalar del Cortex-A76. Al terminar cada capa, los nodos se intercambian los resultados parciales mediante un all-reduce sobre TCP.

Qwen3-30B-A3B tiene 48 capas, así que esa sincronización se repite muchas veces por token. Según el README del fork, la raíz consume unos 12 GB de RAM y cada trabajador unos 6,3 GB. El original avisa de que la raíz necesita algo más de RAM que los trabajadores.

Cuánto pesa la red en cada token

El autor del proyecto original publicó en la discusión #255 el registro de una prueba con cuatro Raspberry Pi 5 de 8 GB y este mismo modelo. Es la referencia pública: 13,04 tok/s al generar y 14,33 tok/s al procesar el prompt. En el registro, cada token tarda entre 49 y 70 ms en calcularse. La sincronización suma casi siempre entre 14 y 37 ms, con algún pico de 94 ms.

Por cada token, el nodo raíz envía 636 kB y recibe 1.057 kB. Un enlace Gigabit mueve unos 125 MB/s en teoría, así que recibir esos 1.057 kB lleva unos 8,5 ms. Es una cuenta mía a partir del registro. Esa transmisión explica buena parte de la sincronización, y el resto es latencia y espera al nodo más lento. Según el README del fork, la latencia entre nodos es de 0,226 ms.

El comando de esa prueba usa --buffer-float-type q80, el parámetro que fija la precisión de los datos que viajan entre nodos. En la práctica, cada valor se envía con unos 8 bits en lugar de 32, lo que reduce el tráfico.

La memoria marca el techo de velocidad

La generación de texto depende del ancho de banda de memoria, porque para cada token hay que leer de la RAM los pesos que participan. El README del fork mide con contadores del procesador que el 49,25 % de los ciclos se pierde esperando a memoria. Cada nodo lee y escribe unos 11,4 GB/s, cerca del 85 % del máximo de una prueba Triad con cuatro hilos.

Hay dos factores que ayudan. Primero, con paralelismo de tensores cada placa lee solo su cuarta parte de los pesos, así que el ancho de banda conjunto se multiplica por cuatro. Segundo, un modelo MoE activa únicamente 8 de sus 128 expertos por token. Según el README del fork, el peso leído por token bajó de unos 5 GB con Llama 3.1 8B denso a unos 3 GB con Qwen3-30B-A3B, aunque el total de parámetros pasó de 8.000 a 30.000 millones.

Ese cambio de modelo fue la mejora más grande del proyecto: de 7,01 a 11,40 tok/s, un 63 % más. Con esos datos, cada nodo lee unos 0,75 GB por token (3 GB entre cuatro), que a 17 GB/s son unos 44 ms. Coincide con los 49 a 70 ms de cálculo del registro. En ese tiempo la red mueve unos 1,7 MB, unas 400 veces menos que la memoria. Son órdenes de magnitud, porque la cuenta mezcla datos de dos fuentes.

Los ajustes de red y de sistema, uno a uno

Como no pueden reducir los bytes, los ajustes de red recortan latencia en cada sincronización. La mayor ganancia de red viene de SO_BUSY_POLL: el kernel espera activamente hasta 50 microsegundos en recv() en lugar de dormir el hilo, y se ahorra el coste de despertarlo. El resto abre buffers TCP de 8 MB, activa TCP_NODELAY y desactiva GRO, que según el README añade entre 50 y 200 µs de espera a propósito. También amplía el anillo de recepción de la tarjeta de red.

La tabla resume lo que documenta el proyecto. Los porcentajes salen de las medias del README y no se encadenan exactamente, porque el proyecto vuelve a medir la base en varios puntos.

CambioResultado según el README
Modelo MoE en lugar de denso7,01 a 11,40 tok/s (+63 %)
Contexto de 32K en lugar de 64K, sin usar swap11,40 a 12,71 tok/s (+11 %)
SO_BUSY_POLL y SO_PRIORITY12,71 a 13,34 tok/s (+5 %)
Flags de compilación con dotprod13,34 a 13,82 tok/s (+4 %)
GRO desactivado, buffers TCP y swappiness13,72 a 14,01 tok/s (+2,1 %)
Sin prefetch por software en la multiplicación de matrices13,85 a 14,00 tok/s (+1,05 %)
Bloques de 16 KB en send y recv14,27 a 14,45 tok/s (+1,3 %)
Anillo RX, RFS y NAPI diferido14,17 a 14,45 tok/s (+2,0 %)

También documentan lo que falló. MSG_ZEROCOPY y TCP_QUICKACK restaron un 0,9 % cada uno, el NAPI en hilo dedicado un 3,9 % y la optimización guiada por perfil hizo que el clúster fallara en la primera petición. El README cita además que llama.cpp con RPC quedó 25 veces por debajo de un solo nodo, según Jeff Geerling. Sobre el artículo HALO, que solapa cálculo y red, dice que solo logra 1,12 veces más en una LAN limpia.

cluster-raspberry-pi-5

Qué parte de la mejora es real

Hellomatik presenta 15,143 tok/s al generar como un 16,1 % más que el 13,04 del autor original. Sin embargo, en un comentario de esa misma discusión indican que la versión sin modificar da 13,15 tok/s en sus placas de 16 GB. Sus parches de código suben esa cifra a 13,88 tok/s, un 5,6 % más, y la configuración del sistema completa el resto hasta 15,143.

Es decir, sobre el mismo hardware la ganancia real ronda el 15 %, y la mayor parte viene de ajustes de sistema. Además, el README atribuye un 5,18 % a parar los agentes de monitorización Grafana Alloy y cAdvisor durante la prueba. Esa parte es una condición de medida, porque quien monitorice su clúster no la tendrá. Como punto a favor, el proyecto valida cada optimización con un SHA-256 de 100 tokens a temperatura cero y, según su README, ninguna cambia el resultado del modelo.

El README mezcla además cifras de fechas distintas. El titular del repositorio dice 14,4 tok/s, que es el rendimiento sostenido con el prompt incluido, mientras que 15,143 es solo generación. Algunas secciones aún citan 14,046 tok/s y hablan de doce parches donde la tabla lista nueve. Tampoco hay, que yo sepa, ninguna réplica independiente de estos resultados.

Qué significa esto para Potato OS

En mis artículos sobre Potato OS y sobre Gemma 4 12B en Raspberry Pi 5 el límite práctico es la RAM de una sola placa. El README de Potato OS da para una Pi 5 de 8 GB con SSD unos 8 a 9 tok/s con Qwen3-30B-A3B en Q3_K_S, un fichero de unos 10 GB que se lee en parte desde el SSD. El clúster llega a 15,1 tok/s con Q40 y todo en RAM.

Son entre 1,7 y 1,9 veces más, aunque la comparación no es exacta. Cambian la cuantización, el motor (ik_llama.cpp frente a distributed-llama) y la memoria disponible. El precio también cambia: cuatro placas de 16 GB, cuatro fuentes, un switch y un despliegue con systemd en cada nodo.

Llevo tiempo escribiendo sobre modelos que caben en una sola Pi 5 con Potato OS. Este proyecto demuestra que repartir un MoE de 30.000 millones de parámetros entre cuatro placas funciona, y que la red pesa menos de lo que cabría esperar porque solo viajan activaciones. La mejora real sobre el código original ronda el 15 % y buena parte sale de ajustes de sistema. Para estudiar computación distribuida, el trabajo de Bartłomiej Tadych y de Hellomatik es una guía muy completa de qué probar y qué descartar.

Enlaces y fuentes

  • distributed-llama original de b4rtaz
  • Fork de Hellomatik para el clúster de 4 Raspberry Pi 5
  • Discusión #255 con el registro de referencia
  • Informe técnico del fork (PDF)
  • Potato OS en GitHub

Artículos relacionados:

  • gemma-4-12b-raspberry pi 5
    Gemma 4 12B en Raspberry Pi 5: probamos el LLM…
  • modelos-llm-potato-os-raspberry-pi-5
    Probando modelos LLM en Potato OS: cuál encaja en la…
  • Potato OS Raspberry Pi 5
    Potato OS: LLM local en tu Raspberry Pi 5
  • parallella-server-lateral
    Rivales de la Raspberry: Parallella-16 2014

Publicado en: Proyectos Etiquetado como: cluster, distributed-llama, ia-local, llm, moe, potato-os, qwen3, raspberry-pi-5

Barra lateral principal

α Fotografía El lado analógico de manuti

Categorías

  • Cajas (9)
  • comandos (21)
  • Compras (117)
  • dudas (41)
  • Empezando (55)
  • Hardware (116)
  • Instalacion (64)
  • Media Center (56)
  • Negocios (7)
  • Proyectos (46)
  • Rivales (117)
  • Sistemas Operativos (70)
  • sorteo (2)
Raspberry Pi 5 - 4GB RAM
Raspberry Pi 5 - 4GB RAM
Ver precio en Amazon →
Raspberry Pi Zero 2W
Raspberry Pi Zero 2W
Ver precio en Amazon →

Por si te lo perdiste

banner RPi Zero 3 y RPi 4A

Raspberry Pi Zero 3 W y Raspberry Pi 4 Model A en camino

picotronix

Picotronix: osciloscopio Raspberry Pi Pico 2

Sube el precio Raspberry Pi 2 GB

Sube el precio de las Raspberry Pi de 2 GB

Raspberry Pi 5 - 8GB RAM
Raspberry Pi 5 - 8GB RAM
Ver precio en Amazon →

Visita la tienda Raspberry Pi en Amazon - enlace afiliado
© 2013–2026

Cookie y RGPD | Aviso Legal
Este sitio web usa cookies para mejorar su experiencia como usuario ► «Aceptar todo» Rechazar Elegir cookies ◘ Si necesita Política de cookies
Política de Cookies

Resumen de privacidad

Este sitio web utiliza cookies para mejorar tu experiencia mientras navegas por él. De estas cookies, las clasificadas como necesarias se almacenan en tu navegador, ya que son esenciales para el funcionamiento de las funcionalidades básicas del sitio web. También utilizamos cookies de terceros que nos ayudan a analizar y entender cómo usas este sitio web. Estas cookies se almacenarán en tu navegador únicamente con tu consentimiento. También tienes la opción de rechazarlas. Sin embargo, rechazar algunas de estas cookies puede afectar a tu experiencia de navegación.
Necessary
Siempre activado
Las cookies necesarias son imprescindibles para el funcionamiento correcto del sitio web. Esta categoría solo incluye cookies que garantizan las funcionalidades básicas y las características de seguridad del sitio. Estas cookies no almacenan ninguna información personal.
CookieDuraciónDescripción
cookielawinfo-checkbox-advertisement1 añoEstablecida por el plugin GDPR Cookie Consent, esta cookie registra el consentimiento del usuario para las cookies de la categoría "Advertisement".
cookielawinfo-checkbox-analytics1 añoEstablecida por el plugin GDPR Cookie Consent, esta cookie registra el consentimiento del usuario para las cookies de la categoría "Analytics".
cookielawinfo-checkbox-comentarios1 añoEstablecida por el plugin GDPR Cookie Consent, esta cookie registra el consentimiento del usuario para las cookies de la categoría "Comentarios (Disqus)".
cookielawinfo-checkbox-functional1 añoEstablecida por el plugin GDPR Cookie Consent, esta cookie registra el consentimiento del usuario para las cookies de la categoría "Functional".
cookielawinfo-checkbox-necessary1 añoEstablecida por el plugin GDPR Cookie Consent, esta cookie registra el consentimiento del usuario para las cookies de la categoría "Necessary".
cookielawinfo-checkbox-others1 añoEstablecida por el plugin GDPR Cookie Consent, esta cookie almacena el consentimiento del usuario para las cookies de la categoría "Others".
cookielawinfo-checkbox-performance1 añoEstablecida por el plugin GDPR Cookie Consent, esta cookie almacena el consentimiento del usuario para las cookies de la categoría "Performance".
CookieLawInfoConsent1 añoCookieYes establece esta cookie para registrar el estado por defecto de los botones de cada categoría y el estado de la CCPA. Funciona únicamente en coordinación con la cookie principal.
wpEmojiSettingsSupportssesiónWordPress establece esta cookie cuando un usuario interactúa con emojis en un sitio WordPress. Ayuda a determinar si el navegador del usuario puede mostrar los emojis correctamente.
__cf_bm1 horaEsta cookie, establecida por Cloudflare, se utiliza para dar soporte a la gestión de bots de Cloudflare.
Functional
Las cookies funcionales ayudan a realizar ciertas funciones como compartir el contenido del sitio web en redes sociales, recoger comentarios y otras características de terceros.
CookieDuraciónDescripción
VISITOR_INFO1_LIVE6 mesesCookie establecida por YouTube para medir el ancho de banda y determinar si el usuario recibe la interfaz de reproductor nueva o antigua.
ytidb::LAST_RESULT_ENTRY_KEYnuncaYouTube utiliza esta cookie para almacenar la última entrada de resultados de búsqueda en la que hizo clic el usuario. Esta información se usa para mejorar la experiencia ofreciendo resultados más relevantes en el futuro.
Performance
Las cookies de rendimiento se utilizan para entender y analizar los índices clave de rendimiento del sitio web, lo que ayuda a ofrecer una mejor experiencia de usuario a los visitantes.
Analytics
Las cookies analíticas se utilizan para entender cómo interactúan los visitantes con el sitio web. Estas cookies ayudan a ofrecer información sobre métricas como el número de visitantes, la tasa de rebote, la fuente de tráfico, etc.
CookieDuraciónDescripción
YSCsesiónCookie establecida por YouTube que se usa para hacer seguimiento de las visualizaciones de vídeos embebidos en páginas de YouTube.
Advertisement
Las cookies de publicidad se utilizan para ofrecer a los visitantes anuncios y campañas de marketing relevantes. Estas cookies rastrean a los visitantes a través de distintos sitios web y recopilan información para mostrar anuncios personalizados.
CookieDuraciónDescripción
VISITOR_PRIVACY_METADATA6 mesesYouTube establece esta cookie para almacenar el estado de consentimiento de cookies del usuario para el dominio actual.
__Secure-ROLLOUT_TOKEN6 mesesYouTube utiliza esta cookie para gestionar el despliegue de funciones y la experimentación. Ayuda a Google a controlar qué funciones nuevas o cambios de interfaz se muestran a los usuarios como parte de pruebas y despliegues escalonados, garantizando una experiencia coherente durante un experimento.
__Secure-YECsesiónCookie de YouTube. Se encarga de almacenar tus preferencias de reproducción de video (como el volumen, la calidad de video predeterminada o la configuración de subtítulos) cuando ves videos de YouTube incrustados en otras páginas web.
__Secure-YNID6 mesesCookie de YouTube utilizada para proteger la seguridad del usuario y prevenir el fraude, especialmente durante el proceso de inicio de sesión.
Others
Otras cookies sin clasificar son aquellas que están siendo analizadas y que todavía no se han asignado a ninguna categoría.
Comentarios (Disqus)
Las cookies de comentarios permiten mostrar y gestionar el sistema de comentarios de terceros (Disqus), incluyendo el registro de usuarios y el control de spam. Estas cookies solo se cargan si aceptas esta categoría.
CookieDuraciónDescripción
disqus_unique1 añoCookie de Disqus usada para el registro de usuarios y control de spam en los comentarios.
GUARDAR Y ACEPTAR
Funciona con CookieYes Logo