Utilisation de l'IBM Blue Gene/P de l'IDRIS : Simulation numérique directe de l'interaction d'une turbulence non-cisaillée et d'une surface de blocage

Simulation numérique directe de l'interaction d'une turbulence non-cisaillée et d'une surface de blocage

Responsable et collaborateur : J. Bodart, L. Joly, J.-B. Cazalbou Département Aérodynamique Énergétique et Propulsion Institut Supérieur de l'aéronautique et de l'Espace (ISAE), Toulouse

Nous avons développé un code, baptisé SPLATS, pour la simulation des écoulements incompressibles dans des configurations académiques qui présentent aux moins deux directions homogènes. Il permet de traiter des situations prototypiques de type canal plan ou couche de mélange à évolution temporelle. Le développement de ce code ayant coïncidé avec l'arrivée de Babel à l'IDRIS, il a été conçu dès l'origine pour une utilisation massivement parallèle. L'efficacité de la parallélisation est excellente jusqu'à 32K processeurs (32768). Le passage en production en 2009 a d'ores et déjà permis la réalisation de simulations directes de l'interaction d'une turbulence non cisaillée avec une paroi solide, sur des maillages jusqu'à un milliard de noeuds.

La génération de données de simulation directe pour la compréhension physique et la calibration de modèles s'applique aujourd'hui dans des situations très variées. Elle explore de nouvelles configurations d'écoulement ou revisite des situations standards, décrites antérieurement par l'expérience physique, avec l'avantage que toutes les grandeurs sont mesurables. Cette recherche s'inscrit dans cette veine et adresse la situation de l'interaction d'une turbulence homogène avec une surface de blocage, avec ou sans glissement.

Un forçage aléatoire, confiné dans une couche centrale du domaine, se substitue aux mécanisme de production de la turbulence par le cisaillement moyen. L'agitation déborde cette zone de forçage et gagne par auto-diffusion la région proche de la surface de blocage. Dans cette région l'énergie d'agitation est portée par les composantes de vitesse tangentes à la surface en conséquence du blocage des mouvements normaux. Les simulations effectuées permettent de mieux comprendre les origines du transfert intercomposantes au voisinage d'une surface de blocage. Le terme de corrélation pression-déformation, qui opère ce transfert en moyenne, devient accessible à la mesure et à l'analyse physique. La perspective est donc ouverte d'une meilleure représentation de ce terme clef des modélisations RANS au second ordre.

Les équations de Navier Stokes sont résolues dans les trois dimensions de l'espace par discrétisation spectrale (modes de Fourier) dans les deux directions homogènes et de type différences finies (schéma compact d'ordre 6) dans la troisième direction. Du point de vue de la parallélisation, le problème s'apparente aux algorithmes de type tout spectral couramment utilisés pour la simulation directe en Mécanique des Fluides. A la décomposition du domaine en tranches (découpage sur Nz tranches d'un problème de taille Nx X Ny X Nz) on substitue une décomposition bidimensionelle (en groupes de lignes) qui permet de mobiliser un plus grand nombre de coeurs. Ce découpage, implémenté dans la bibliothèque p3dfft de Dmitri Pekurovsky (San Diego Supercomputing Center) permet d'effectuer localement sur chaque coeur les étapes principales de l'avancement en temps. Les échanges de données entre coeurs se limitent aux différentes transpositions des données résumées sur la figure 1. Ce type de décomposition permet d'exploiter pleinement les architectures massivement parallèles puisque l'on étend le nombre de processeurs utilisables au produit du PGCD de (Nx/2,Ny) et de celui de (Nx/2,Nz). Par ailleurs, la topologie bidimensionnelle des processus exploite en partie l'architecture torique de machines comme Babel. Les transpositions utilisent ainsi des sous-réseaux de transmission, plus rapides que le réseau global. La gestion des fichiers d'entrées/sortie est réalisée grâce à Parallel-NETCDF installée sur Babel. Cette bibliothèque repose sur l'implémentation de MPI/IO et permet d'écrire dans un fichier unique des données dispersées sur plusieurs processeurs. Les tests effectués (sur 8K processeurs et 10⁹ noeuds de maillage) démontrent une vitesse d'écriture de l'ordre de 3.6 Go/s, monopolisant près d'un tiers de la bande passante maximale théorique de 12.7 Go/s.

Les tests de scalabilité effectués pour le passage en production sont reportés sur la figure 2. Les cas A et B représentent deux ordres de grandeurs différents en terme de taille de maillage (512³ et 1024³). Le minimum de coeurs utilisés est imposé par la mémoire par coeur nécessaire à la résolution. On observe de très bon résultats pour des calculs impliquant jusqu'à 16K processeurs. La baisse de l'efficacité (de 89% à 67%) observée par le passage sur 32K s'explique par la difficulté de distribuer les transpositions de domaine à ce degré de parallélisme. Néanmoins, les simulations en production restent optimales sur 16K processeurs.

L'exploitation de telles bases de données de DNS, d'un volume de plusieurs Téra-octets, nécessite la parallélisation du post-traitement et de la visualisation par l'intermédiaire d'outils adaptés comme Paraview ou VTK.

Les simulations directes de l'interaction d'une turbulence homogène en diffusion pure vers une surface de blocage permettent de dresser à ce jour les conclusions suivantes. Le blocage de la composante normale de la fluctuation de vitesse intervient à même distance de la paroi qu'elle soit adhérente ou pas. L'anisotropie de l'agitation s'établit en conséquence d'un transfert inter-composantes porté par la corrélation pression-déformation. Le contenu de celle-ci tient essentiellement à des événement d'impacts de paquets fluides sur la surface. La dissymétrie du champ de vitesse normale (au sens statistique et mesurée au facteur de dissymétrie), inhérente à une situation de diffusion, règle l'intensité relative des impacts (mouvement vers la surface) et des éjections (éloignement de la surface). Cette configuration, très favorable à l'analyse phénoménologique du contenu de la corrélation pression-déformation, contraste avec les configurations d'écoulement de précédentes contributions au domaine, Perot and Moin 1995 et Walker et al. 1996, qui présentaient l'inconvénient d'un faible niveau de transfert intercomposante en raison d'une faible inhomogénéité normale. L'analyse en quadrant du contenu de la corrélation pression-déformation, voir figure 3 indique dans le cas de la paroi adhérente que le déséquilibre impact/éjection compte pour 65% du transfert. Le complément repose, à haut nombre de Reynolds, sur des fluctuations négatives de pression qui suggèrent une contribution des coeurs tourbillonnaires.

Figure 1 : Décomposition en tranche comparée à la décomposition bidirectionelle sur 4 processeurs. Figure 2 : Tests de scalabilité sur Babel. Figure 3 : Vue en quadrant du contenu de la corrélation pression-déformation ?₃₃ du bilan pour la variance de vitesse normale w², mesuré à l'altitude du pic de transfert : (gauche) fonction de probabilité conjointe de la fluctuation de pression et de la déformation verticale; (droite) contours des contributions à la corrélation.

Bodart, J. and Cazalbou, J.-B. and Joly, L., Direct Numerical Simulation of unsheared turbulence diffusing towards a free-slip or no-slip surface, in Turbulence and Shear Flow Phenomena 6, 2009.

Bodart, J. and Joly, L. and Cazalbou, J.-B., Large scale simulation of turbulence using a hybrid spectral/finite difference solver, in Parallel Computational Fluid Dynamics, 2009. Campagne, G. and Cazalbou, J.-B. and Joly, L. and Chassaing, P., The structure of a statistically steady turbulent boundary layer near a free-slip surface, Physics of Fluids, vol. 21, no. 6, 2009.

B. Perot, and P. Moin, Shear-free turbulent boundary layers. Part 1. Physical insight into near-wall turbulence, J. Fluid Mech. 295 (1995), pp. 199?227.

D.T. Walker, R.I. Leighton, and L.O. Garza-Rios, Shear-free turbulence near a flat free surface, J. Fluid Mech. 320 (1996), pp. 19?51.