Paralelismo de tensores. Técnica para repartir un modelo de IA entre varias máquinas dividiendo las matrices de cada capa en trozos. Cada máquina calcula el suyo y después intercambian los resultados parciales. Reduce la memoria y el ancho de banda de memoria que necesita cada nodo, a cambio de sincronizarse por red en cada capa. Es la técnica que usa distributed-llama en un clúster de Raspberry Pi para ejecutar un LLM.



