Configurer la file d'attente Launch

Configurer les options avancées de la file d’attente Launch, y compris les modèles de configuration de file d’attente avec des valeurs par défaut, minimales et maximales.

Cette page décrit comment configurer les options avancées de la file d’attente Launch, y compris les modèles de configuration de file d’attente, les macros dynamiques et les images de base pour accélérateurs. Ces options aident les administrateurs à appliquer des garde-fous et à adapter les files d’attente à des environnements de calcul spécifiques.

​

Configurer les modèles de configuration de file d’attente

Les modèles de configuration de file d’attente permettent aux administrateurs de gérer des garde-fous pour la consommation des ressources de calcul. Définissez des valeurs par défaut, minimales et maximales pour des champs tels que la consommation de mémoire, le GPU et la durée d’exécution.

Après avoir configuré une file d’attente avec des modèles de configuration, les membres de votre équipe peuvent modifier les champs que vous avez définis uniquement dans la plage que vous avez spécifiée.

​

Configurer un modèle de file d’attente

Vous pouvez configurer un modèle sur une file d’attente existante ou sur une nouvelle file d’attente. La procédure suivante ajoute des champs de modèle à la configuration d’une file d’attente afin que les membres de l’équipe ne puissent définir que des valeurs comprises dans les limites que vous avez définies.

1. Accédez à W&B Launch App.
2. Sélectionnez View queue à côté du nom de la file d’attente à laquelle vous souhaitez ajouter un modèle.
3. Sélectionnez l’onglet Config. Il affiche des informations sur votre file d’attente, comme la date de création de la file d’attente, sa configuration et les redéfinitions existantes au moment du lancement.
4. Accédez à la section Queue config.
5. Identifiez les paires clé-valeur de configuration pour lesquelles vous souhaitez créer un modèle.
6. Remplacez la valeur dans la configuration par un champ de modèle. Les champs de modèle prennent la forme {{variable-name}}.
7. Cliquez sur le bouton Parse configuration. Lorsque vous analysez votre configuration, W&B crée automatiquement des vignettes sous la configuration de la file d’attente pour chaque modèle créé.
8. Pour chaque vignette générée, vous devez d’abord spécifier le type de données (string, integer ou float) autorisé par la configuration de la file d’attente. Pour ce faire, sélectionnez le type de données dans le menu déroulant Type.
9. Selon le type de données, renseignez les champs qui apparaissent dans chaque vignette.
10. Cliquez sur Save config.

Après avoir enregistré la configuration, la file d’attente applique les contraintes du modèle aux lancements suivants.

Par exemple, supposons que vous souhaitiez créer un modèle qui limite les instances AWS que votre équipe peut utiliser. Avant d’ajouter un champ de modèle, la configuration de votre file d’attente peut ressembler à ceci :

launch config

RoleArn: arn:aws:iam:region:account-id:resource-type/resource-id
ResourceConfig:
  InstanceType: ml.m4.xlarge
  InstanceCount: 1
  VolumeSizeInGB: 2
OutputDataConfig:
  S3OutputPath: s3://bucketname
StoppingCondition:
  MaxRuntimeInSeconds: 3600

Lorsque vous ajoutez un champ de modèle pour InstanceType, votre configuration se présente ainsi :

launch config

RoleArn: arn:aws:iam:region:account-id:resource-type/resource-id
ResourceConfig:
  InstanceType: "{{aws_instance}}"
  InstanceCount: 1
  VolumeSizeInGB: 2
OutputDataConfig:
  S3OutputPath: s3://bucketname
StoppingCondition:
  MaxRuntimeInSeconds: 3600

Ensuite, cliquez sur Parse configuration. Une nouvelle vignette intitulée aws-instance apparaît sous Queue config.

Vous sélectionnez ensuite String comme type de données dans la liste déroulante Type. Cela renseigne des champs dans lesquels vous pouvez indiquer les valeurs qu’un utilisateur peut choisir. Par exemple, dans l’image suivante, l’administrateur de l’équipe a configuré deux types d’instances AWS parmi lesquels les Users peuvent choisir, ml.m4.xlarge et ml.p3.xlarge :

​

Configurer dynamiquement les jobs Launch

Les configurations de la file d’attente peuvent être définies dynamiquement à l’aide de macros évaluées lorsque l’agent extrait un job de la file d’attente. Utilisez des macros pour injecter, au moment du lancement, des valeurs spécifiques au run dans votre configuration de file d’attente. Vous pouvez définir les macros suivantes :

Macro	Description
${project_name}	Le nom du projet dans lequel le run est lancé.
${entity_name}	Le propriétaire du projet dans lequel le run est lancé.
${run_id}	L’ID du run lancé.
${run_name}	Le nom du run lancé.
${image_uri}	L’URI de l’image de conteneur de ce run.

Toute macro personnalisée ne figurant pas dans le tableau ci-dessus, par exemple ${MY_ENV_VAR}, est remplacée par une variable d’environnement issue de l’environnement de l’agent.

​

Utilisez l’agent Launch pour créer des images qui s’exécutent sur des accélérateurs ou des GPU

Si vous utilisez Launch pour créer des images qui s’exécutent dans un environnement doté d’un accélérateur, vous devrez peut-être spécifier une image de base pour accélérateur afin que l’image obtenue soit compatible avec le matériel cible.

L’image de base pour accélérateur doit répondre aux exigences suivantes :

• Compatibilité avec Debian. Le Dockerfile de Launch utilise apt-get pour récupérer python.
• Jeux d’instructions matériels CPU et GPU compatibles. Assurez-vous que votre version de CUDA est prise en charge par le GPU que vous prévoyez d’utiliser.
• Compatibilité entre la version d’accélérateur que vous fournissez et les packages installés dans votre algorithme de ML.
• Toute étape supplémentaire requise pour configurer les packages installés afin d’assurer leur compatibilité avec le matériel.

​

Utiliser des GPU avec TensorFlow

Pour vous assurer que TensorFlow utilise votre GPU, spécifiez une image Docker ainsi que son tag pour la clé builder.accelerator.base_image dans la configuration des ressources de la file d’attente.

Par exemple, l’image de base tensorflow/tensorflow:latest-gpu garantit que TensorFlow utilise votre GPU. Vous pouvez la configurer dans la configuration des ressources de la file d’attente.

L’extrait JSON suivant montre comment spécifier l’image de base TensorFlow dans la configuration de votre file d’attente :

Queue config

{
    "builder": {
        "accelerator": {
            "base_image": "tensorflow/tensorflow:latest-gpu"
        }
    }
}