Dans un marché en pleine ébullition et -surtout- en pleine construction de l’IA et de l’IA générative, chaque éditeur et constructeur propose sa solution, sa pile logicielle, ses LLM. Puis, tous les six mois, tout cela évolue et amène immanquablement à des ajustements. Pas toujours simple de s’y retrouver… Même les plus grands n’échappent pas à la règle, à l’image de Red Hat.
IA générative, fine-tuning, cloud hybride, inférence, compresseur LLM, alignement de modèle, IA agentielle, Kubernetes, modèle en tant que service, coût, souveraineté, données d’entreprise… Pour répondre à ces problématiques d’entreprise, Red Hat a fait diverses annonces avec RHEL AI (Red Hat Linux Server AI), OpenShift AI, AI Inference Server… intégration de technologies comme vLLM et llm-d…
Afin de mieux appréhender à la fois ces technologies, l’articulation entre ces diverses solutions, la feuille de route de l’éditeur et les technologies à venir, Place d’l’IT a rencontré Tushar Katarki, Senior Director, Product, GenAI Foundation Model Platforms, et Jeff Demoss, Product Management AI chez Red Hat.
L’interview revient sur ces aspects technologiques illustrés par de multiples schémas et des encadrés expliquant les technologies vLLM et llm-d (illustrés eux aussi).
Tags AI Inference Server InstructLab Jeff Demoss llm-d MaaS Model as a Service Openshift AI Red Hat AI Red Hat AI Inference Server RHEL AI Tushar Katarki vLLM
