Le routage s’appuie sur un portefeuille de modèles et une boucle d’évaluation continue pour arbitrer en prenant en compte qualité, coût et latence.
Les coûts deviennent l’un des freins les plus perceptibles à l’industrialisation de l’IA. Plus encore, leur prévisibilité et leur maîtrise préoccupent désormais les DSI.
Avec le routage dynamique de Cortex AI Gateway, Snowflake veut éviter le recours systématique aux modèles les plus puissants et les plus chers: chaque requête peut être aiguillée vers le modèle offrant le meilleur compromis entre coût, qualité et performance. À cette optimisation s’ajoutent quotas, plafonds, suivi de la consommation et allocation des dépenses.
Bien entendu, Snowflake n’est pas seul à chercher une réponse. AWS et Microsoft misent également sur le routage intelligent des modèles, tandis que Workday et Salesforce expérimentent avec leurs Flex Credits des unités de facturation davantage liées au travail ou aux actions réalisés. Sophos, dans le SIEM, privilégie de son côté la prévisibilité en abandonnant la tarification au volume de logs.
Notre article analyse ces différentes stratégies et leurs limites, avec un tableau comparatif des approches de Snowflake, AWS, Microsoft, Workday, Salesforce et Sophos. Une annonce qui pose aussi une question de fond: à l’heure de l’IA agentique, la facturation au token constitue-t-elle encore le bon modèle économique?
