L'exécution d'une application sur une architecture parallèle peut souvent se résumer à une succession de phases de calculs et de phases de communications entre les différents processus qui s'exécutent en parallèle sur des processeurs distants. Dans le cadre du parallélisme non-régulier ces phases sont asynchrones et les algorithmes de permutation de données connus pour les applications en algèbre linéaire (BLACS) ne s'appliquent pas. En général ce sont les phases de communications qui ralentissent la durée totale d'exécution, et on essaye de minimiser ce temps.
Il est donc important d'étudier les protocoles d'échanges de messages qui doivent dans un premier temps être validés (on veut que les messages arrivent à leur destination) puis optimisés. Cette optimisation dépend des modèles de communication et de l'architecture du réseau. Tout aussi importante est l'étude des problèmes de placement des processus ainsi que l'ordonnancement des tâches à exécuter; l'idéal serait de recouvrir au maximum les communications par les calculs.