Publié le 16 novembre 2026
Où part l’énergie d’une image en une étape
sd-turbo produit une image 512x512 en une seule étape de débruitage. Mesurée étape par étape sur ma RTX 3080 Ti avec le compteur d’énergie de NVML, ce n’est pas l’étape de débruitage qui consomme le plus : en une étape, le décodeur VAE qui transforme le résultat en pixels prend 62 % de l’énergie au-dessus du repos et plus de la moitié du temps.
Les modèles de diffusion distillés comme sd-turbo se vendent sur leur nombre d’étapes : une étape de débruitage au lieu de vingt ou cinquante, donc une image en un dixième de seconde environ. C’est le nombre que tout le monde règle. Je voulais savoir où partent réellement le temps et l’énergie d’une image, étape du pipeline par étape du pipeline, avec les règles de mesure du billet précédent, sur la même RTX 3080 Ti.
Le pipeline est diffusers tel quel, en mode eager : sd-turbo en 512×512, fp16, batch 1, avec 1, 2 et 4 étapes de débruitage, 200 images mesurées pour chaque réglage après 10 images de chauffe. Une image traverse trois étages : l’encodeur de texte transforme le prompt en embeddings, le UNet débruite un latent une fois par étape, et le décodeur VAE transforme le latent final en pixels. Des événements CUDA autour de chaque étage donnent son temps.
Pourquoi l’énergie ne se lit pas image par image
Une image prend 112 à 211 ms. Sur cette carte, le compteur d’énergie bouge toutes les 100 ms et sous-compte dès qu’on le lit plus de deux fois par seconde environ : de 14 % à 10 Hz. Le lire autour de chaque image, a fortiori de chaque étage, mesurerait le compteur plutôt que le pipeline.
Chaque étage est donc rejoué seul, sur des entrées capturées sur une vraie image, dans une boucle d’environ 3 s : à peu près 245 appels de l’encodeur de texte, 90 appels du UNet ou 49 décodages VAE par bloc. Le pipeline entier tourne de la même façon, 14 à 27 images par bloc. Les quatre sortes de blocs alternent, 15 tours par nombre d’étapes, et le compteur est lu une fois par bloc : la lecture qui termine un bloc ouvre le suivant. L’énergie par appel est l’énergie du bloc divisée par le nombre d’appels. L’énergie dynamique retranche la puissance au repos, 108 W mesurés sur 30 s, multipliée par la durée du bloc.
Le résultat
| étapes | ms par image | J par image | J au-dessus du repos | encodeur de texte | UNet | décodage VAE | autre |
|---|---|---|---|---|---|---|---|
| 1 | 111,9 | 35,8 | 23,7 | 3 % | 29 % | 62 % | 6 % |
| 2 | 145,6 | 45,6 | 30,2 | 3 % | 46 % | 48 % | 3 % |
| 4 | 211,1 | 66,9 | 44,0 | 2 % | 63 % | 32 % | 3 % |
Par appel, l’encodeur de texte prend 12,3 ms et 0,81 J au-dessus du repos, une étape de UNet 33 ms et 6,9 J, le décodage VAE 61 ms et 14,6 J. « Autre » est le pipeline entier moins les trois étages : le scheduler, les lancements de noyaux et les trous entre noyaux. Il ressort à 3 à 6 %, et c’est la vérification qui compte pour la méthode : les étages mesurés seuls s’additionnent pour redonner le pipeline mesuré d’un bloc.
Le décodeur, pas le débruiteur
Le UNet est la partie qui suit le nombre d’étapes, et il se comporte exactement comme prévu : chaque étape ajoute 33 ms et 6,9 J. Passer de quatre étapes à une réduit le temps par image de 47 % et l’énergie au-dessus du repos de 46 %. Mais le décodage VAE ne bouge pas. Il tourne une fois par image quel que soit le nombre d’étapes, et à mesure que le UNet rétrécit, sa part grandit : 32 % de l’énergie à quatre étapes, 62 % à une. En une étape, il représente aussi 61 des 112 ms, plus de la moitié du temps.
La puissance moyenne du pipeline change à peine avec le nombre d’étapes, 320 à 322 W, alors que les étages consomment très différemment quand ils tournent seuls : 172 W pour l’encodeur de texte, 340 W pour le décodage VAE. Sur ces trois réglages, l’énergie par image suit presque exactement le temps par image. Ce n’est pas vrai en général, comme l’a montré l’étude DBSCAN, mais ici le profil de temps et le profil d’énergie désignent le même coupable.
Pour une boucle temps réel en une étape, le levier n’est donc plus le nombre d’étapes. C’est le décodeur : un autoencodeur plus petit ou distillé, ou compilé. Je n’en ai encore mesuré aucun ; c’est la prochaine exécution évidente. L’encodeur de texte est un levier plus modeste : une boucle au prompt fixe pourrait mettre sa sortie en cache et gagner 2 à 3 %.
Ce que cela ne montre pas
- Le compteur n’a pas été comparé à un wattmètre externe. Dans les sondes, il s’accordait à 5 % près avec la valeur de puissance de NVML quand on le lisait une ou deux fois par seconde ; ici, il est lu toutes les 3 s. NVML ne couvre par ailleurs que la carte : le CPU, qui fait tourner le scheduler et lance les noyaux, n’est pas compté.
- Le repos est une session de bureau, écran allumé et modèle en VRAM. Le GPU n’est pas descendu dans un état basse consommation : au repos, l’horloge SM affichait 1770 MHz. L’énergie dynamique est ce que le travail ajoute à cet état, pas à un GPU à l’arrêt.
- Un étage rejoué seul enchaîne ses appels, sans les trous qu’il a dans le pipeline. Que « autre » ne ressorte qu’à 3 à 6 % laisse penser que l’écart est faible.
- Pendant les blocs chargés, l’horloge SM est restée entre 1920 et 2025 MHz, et le GPU est monté de 41 à 60 °C pendant les blocs à une étape avant de rester à 60 à 62 °C. NVML a signalé un plafonnement logiciel de puissance après chacun de ces blocs, alors que la puissance moyenne restait sous la limite de 370 W.
- diffusers tel quel, sans
torch.compile, CUDA graphs ni TensorRT. Un GPU, un pilote (610.88), Windows 11, un prompt, une exécution.
Le script de mesure, les blocs et images bruts, et le script qui reconstruit le tableau et la figure sont sur GitHub : gpu-sd-study. Une exécution prend une douzaine de minutes sur un GPU CUDA.