La taxe cachée sur le stockage de chaque conversation IA

Chaque fois que vous saisissez une courte invite dans votre outil d'IA d'entreprise, derrière cet indicateur clignotant que vous voyez à l'écran, tout un ensemble de mécanismes et de processus invisibles se met en œuvre dans l'infrastructure. Lorsque l'outil joint les politiques d'entreprise, l'historique de la session, les documents récupérés et toutes les autres données contextuelles nécessaires pour générer un résultat utile et fiable, la douzaine de mots que vous avez tapés devient systématiquement une charge de travail de 40 000 tokens.

Considérez maintenant que des milliers d'utilisateurs et d'agents peuvent solliciter le système en même temps, chaque invite puisant dans une base de connaissances d'entreprise qui, dans les plus grandes entreprises du monde, peut atteindre 100 pétaoctets (Po). Le service à partir de cette archive génère un deuxième stockage actif, le cache clé-valeur (KV), qui ne s'adapte pas à la quantité de données que vous possédez, mais au nombre d'utilisateurs qui l'interrogent simultanément.

Le calcul coûteux sur ces tokens devient un cache qui mérite d'être sauvegardé et réutilisé pour éviter les redondances et les inefficacités qui ralentissent la production. Mais l'outil ne peut le faire que si l'infrastructure technique dispose d'un espace pour conserver ce cache. Et de nombreuses entreprises ne considèrent pas le besoin de ce stockage lorsqu'elles construisent une infrastructure d'IA, jusqu'à ce qu'elles manquent d'espace.

Pour garantir que les outils d'IA d'entreprise puissent passer à l'échelle, les fondations conçues pour générer des résultats d'IA doivent avoir la capacité et la puissance de stocker les calculs des opérations complexes qui entrent dans leur création.

Et les options traditionnelles sont insuffisantes à cette échelle : la mémoire vive dynamique (DRAM), rapide mais limitée en capacité, est trop chère pour contenir ces données, et les disques durs (HDD) sont trop lents pour les servir. Le traitement de l'IA d'entreprise au niveau de la flotte dépend de disques SSD à haute capacité, qui offrent la capacité de les contenir et la vitesse de les servir, avec l'efficacité énergétique et l'empreinte qui rendent le retour sur investissement de l'IA réalisable.

L'impact de l'inférence IA

Alors que les entreprises appliquent de plus en plus l'IA à leur stratégie de croissance, une grande partie de leur attention reste concentrée sur l'entraînement de modèles plus grands et plus performants et sur l'investissement dans des unités de traitement graphique (GPU) puissantes. Mais le plus grand défi est désormais l'inférence : le processus de fourniture de réponses d'IA précises, fiables et rapides à grande échelle.

Dans les systèmes d'IA modernes, chaque invite crée un ensemble composé d'instructions de politique, d'historique de session, de documents récupérés, de résultats d'outils et d'autres composants contextuels. Cet ensemble complet est introduit dans un système d'IA où les GPU coûteux effectuent des calculs. Ces calculs (le cache KV) deviennent des actifs réutilisables afin que le système n'ait pas à les recalculer encore et encore. Le cache KV représente un « état » au sein du système d'IA, et à mesure que les déploiements d'IA mûrissent, la gestion de cet état devient cruciale pour la performance.

Le défi du stockage ne fait que s'aggraver à mesure que les entreprises s'appuient sur la génération augmentée de récupération (RAG), les workflows agentiques et le raisonnement à long contexte sur des bases de connaissances internes. Chacun de ces éléments augmente le volume d'informations que le système doit stocker et accéder en une seule fois. Et comme une grande partie de ces informations doit être récupérée avant que l'IA puisse répondre, la vitesse de stockage, et pas seulement la capacité, détermine la rapidité perçue du système par les utilisateurs : le délai avant qu'un utilisateur ne voie une première réponse, connu sous le nom de temps jusqu'au premier token (TTFT).

Bien que les dirigeants d'organisation supposent souvent qu'une plus grande capacité GPU permet une IA plus rapide, en réalité, les GPU et autres accélérateurs restent fréquemment inactifs pendant que les systèmes d'IA récupèrent des documents, chargent le contexte, restaurent les caches de calcul ou attendent en raison de goulots d'étranglement de mouvement de données et de stockage.

Les calculs montent rapidement en puissance. Une seule requête à long contexte peut nécessiter 312 gigaoctets de cache KV. Multipliez cela par huit utilisateurs simultanés et l'exigence passe à 2,5 téraoctets (To). Ajoutez des workflows agentiques et le chiffre gonfle à 10 To, le tout devant être stocké, accessible et géré avec une faible latence.

Une charge de travail qui pouvait initialement sembler être une exigence de mémoire par session gérable devient un défi massif lorsque plusieurs utilisateurs interagissent avec l'IA simultanément. Ces calculs sauvegardés deviennent l'un des plus grands consommateurs de ressources d'infrastructure.

C'est la « taxe cachée sur le stockage » : des problèmes qui ne deviennent évidents que lorsque les systèmes d'IA sont mis en production à grande échelle. Même une tâche qui semblait réalisable dans des projets pilotes devient insoutenable en pratique à mesure que le nombre d'utilisateurs ou de sessions d'IA s'exécutant simultanément augmente de manière exponentielle, ce qu'on appelle la concurrence. Le résultat : des réponses plus lentes, des goulots d'étranglement imprévus, une infrastructure sous-utilisée et des coûts d'exploitation plus élevés.

Pourquoi le stockage est crucial

Historiquement, les organisations ont traité le stockage comme un référentiel passif pour leurs données, un lieu de stockage pour les données au repos. Cette approche fonctionnait lorsqu'elles utilisaient le stockage principalement pour les systèmes de sauvegarde, les archives et les bases de données. Mais dans les environnements d'IA, le stockage SSD est une partie active des applications, crucial pour la réactivité, l'évolutivité, l'expérience utilisateur et l'efficacité des coûts. Les entreprises qui continuent à utiliser des mesures de référence traditionnelles malgré ce changement risquent des investissements d'IA qui ne peuvent pas passer à l'échelle et l'échec des projets pilotes d'IA.

Ces changements émergent encore dans l'inférence, mais le principe sous-jacent est déjà visible partout où l'IA fonctionne à grande échelle : l'architecture de stockage, et pas seulement le calcul, décide si le système tient ses promesses.

PEAK:AIO, un fournisseur de stockage défini par logiciel, travaille avec des institutions médicales utilisant l'IA pour analyser des examens d'imagerie par résonance magnétique (IRM) afin d'identifier des signes de cancer. Ces institutions génèrent d'énormes volumes de données d'imagerie, mais beaucoup manquent de l'infrastructure nécessaire pour stocker, accéder et analyser ces données efficacement. PEAK:AIO propose à ses clients des SSD à haute capacité afin qu'ils puissent stocker et traiter de grands ensembles de données au sein de leurs propres systèmes et réseaux.

Pour ses centres de données modulaires conteneurisés, DUG Technology, un fournisseur de solutions d'infrastructure de calcul haute performance et d'IA, utilise des SSD pour permettre à ses clients d'exécuter des systèmes d'IA dans des endroits où la capacité de déployer une infrastructure de stockage est limitée, comme les sites industriels, les installations énergétiques et d'autres zones reculées.

Une décision d'IA au jour zéro

La bonne architecture de stockage peut améliorer la réactivité, l'efficacité de l'infrastructure et l'évolutivité pour l'inférence à long contexte, la RAG et les workflows d'IA agentiques.

Alors que les entreprises étendent leurs initiatives d'IA, il devient de plus en plus crucial pour les architectes d'IA, ainsi que pour les responsables des achats et des finances, les ingénieurs de plateforme et autres décideurs, de construire des fondations techniques avec un stockage SSD à haute capacité suffisant pour gérer leurs opérations et prévenir les goulots d'étranglement aujourd'hui et dans les années à venir.

Et cela signifie que le stockage doit faire partie de la conversation de conception dès le départ, afin que leurs entreprises puissent éviter d'avoir à investir dans la rénovation de leur infrastructure plus tard.

Lisez l'article « Anatomie d'une invite » et le document technique de Solidigm pour comprendre pourquoi l'IA à long contexte, la RAG et les workflows agentiques transforment la conception d'invites en une décision d'infrastructure, et comment les entreprises peuvent qualifier le stockage avant que les problèmes de latence, de coût et d'utilisation n'apparaissent en production.