Sélection automatique du modèle
Dans le profil d'appareil, la taille du modèle peut être réglée sur Automatique (selon le matériel) au lieu d'une taille fixe. L'appareil signale son matériel à chaque check-in, et le serveur assigne la plus grande taille de modèle que ce matériel peut exécuter, plafonnée par le plan souscrit.
De quoi il s'agit
Le propriétaire choisit Automatique (selon le matériel) comme taille de modèle dans le profil d'appareil. Dès lors, chaque check-in relit le matériel de l'appareil, et le serveur assigne la plus grande taille de modèle que ce matériel peut porter, plafonnée par le plan du compte.
Correspondance matériel vers modèle
| Matériel | Modèle |
|---|---|
| GPU dédié puissant, ≥ 8 Go de VRAM, avec un moteur GPU exécutable, ou mémoire unifiée Apple Silicon ≥ 16 Go | Ultra (GPU) |
| ≥ 16 Go de RAM avec un CPU capable | Enterprise |
| ≥ 8 Go de RAM | Pro |
| En dessous, ou CPU faible | Nano |
Le chemin GPU aujourd'hui
Seul Apple Silicon (Metal) qualifie pour le chemin GPU aujourd'hui ; le support des GPU dédiés (Vulkan) arrive. Quand la détection du matériel est incertaine, auto choisit prudemment le meilleur palier CPU, jamais le GPU.
Le plan plafonne le résultat
| Plan | Plus grande taille qu'auto peut choisir |
|---|---|
| Pro | Pro |
| Enterprise | Enterprise ou Ultra |
Activation
- Dans le profil d'appareil, régler la taille du modèle sur Automatique (selon le matériel).
- Optionnellement, lier ce profil à un code d'installation : chaque appareil installé avec ce code choisit alors son modèle automatiquement, sans étape par appareil.
À lire ensuite
Regrouper la taille du modèle avec le mode et le second avis : profils pour une flotte. La base CPU dont chaque taille a encore besoin : exigences système.
La bonne taille, automatiquement.
Réglez-le une fois dans le profil d'appareil ; chaque appareil tourne ensuite avec la plus grande taille de modèle que son matériel supporte, plafonnée par votre plan.
Sign me up