需要支持MPI的軟件。

單個node的平行是通過shared memory/pthread來實現(比如fork())。多個node的平行需要message passing，需要MPI－capable的軟件。兩種code 差別很大。shared-mem/multi-thread 容易寫code，但cross－node multi－thread的效率太低（主要是TCP／IP和network的latency太高）。所以，一般cross－node並行用MPI，以減少cross－node的通訊。