Dimensionnement de Burst-Buffers pour réduire la contention Entrées-Sorties

AUPY, Guillaume; BEAUMONT, Olivier; EYRAUD-DUBOIS, Lionel

Métadonnées

Afficher la notice complète

Licence d’utilisation du document

AUPY, Guillaume
Topology-Aware System-Scale Data Management for High-Performance Computing [TADAAM]

BEAUMONT, Olivier
Reformulations based algorithms for Combinatorial Optimization [Realopt]

EYRAUD-DUBOIS, Lionel
Reformulations based algorithms for Combinatorial Optimization [Realopt]

Langue

Rapport

Ce document a été publié dans

2018-10

Résumé

Nous nous intéressons à l’utilisation de Burst-Buffers en temps qu’espace de stockage intermédiaire entre les nœuds de calcul et le Système de Fichiers Parallèles (PFS). Ce dimensionnement peut être statique (à l’arrivée d’une application dans le système), ou dynamique (en fonction des demandes Entrées-Sorties).Nous montrons que le problème général de partager équitablement les buffers entre applications est NP-complet. Nous montrons que dans le cas particulier où l’on cherche à minimiser la taille totale du buffer pour qu’aucune application ne soit ralentie est résolvable en temps polynomial. Pour résoudre ce problème nous proposons un programme linéaire.Finalement nous proposons des évaluations à taille de buffer fixé pour montrer la performance de certains algorithmes naifs communs.< Réduire

Résumé en anglais

Burst-Buffers are high throughput and small size storage which are being used as an intermediate storage between the Parallel File System (Parallel File System) and the computational nodes of modern HPC systems. They can allow to hinder to contention to the Parallel File System, a shared resource whose read and write performance increase slower than processing power in HPC systems. A second usage is to accelerate data transfers and to hide the latency to the Parallel File System. In this paper, we concentrate on the first usage. We propose a model for Burst-Buffers and application transfers.We consider the problem of dimensioning and sharing the Burst-Buffers between several applications. This dimensioning can be done either dynamically or statically. The dynamic allocation considers that any application can use any available portion of the Burst-Buffers. The static allocation considers that when a new application enters the system, it is assigned some portion of the Burst-Buffers which cannot be used by the other applications until that application leaves the system and its data is purged from it. We show that the general sharing problem to guarantee fair performance for all applications is an NP-Complete problem. We give a polynomial time algorithms for the special case of finding the optimal buffer size such that no application is slowed down due to Parallel File System contention, both in the static and dynamic cases. Finally, we provide evaluations of our algorithms in realistic settings. We use those to discuss how to minimize the overhead of the static allocation of buffers compared to the dynamic allocation.< Réduire

URI

https://oskar-bordeaux.fr/handle/20.500.12278/192601

Project ANR

Ordonnancement de données pour le calcul haute-performance - ANR-17-CE25-0004

Origine

Importé de hal

Unités de recherche

Institut de Mathématiques de Bordeaux (IMB) - UMR 5251

Métadonnées

Partager cette publication !

Licence d’utilisation du document