Operación de comunicación en la que todos los nodos aportan un resultado parcial y todos reciben la combinación, normalmente una suma. En un LLM distribuido ocurre al final de cada capa. En un clúster de Raspberry Pi viaja por TCP sobre Gigabit Ethernet, y su latencia limita los tokens por segundo.



