Qu'est ce que DotAI ?
Les conférences Dot sont une séries d'évènements sur la tech, avec une spécialisation sur une thématique (DotJS pour javascript, DotAI pour l'intelligence artificielle). Cet article va détailler le premier jour de conférences de cette 3ème édition, les nouvelles avancées techniques et les nouveaux enjeux sur l'IA Générative.
Conférence 1: Historique sur les capacités de raisonnement des LLM
Speaker: Stanislas POLU, Co- fondateur de DUST.
Cette présentation revisite l'histoire des AGI (Intelligence Artificielle Générale), en introduisant le concept de "pré-AGI" et une perspective sur l'AGI du futur. Stanislas commence par évoquer l'évolution de l'analyse d'images via les CNN, puis celle du traitement du texte à travers les LLM, avant d'aborder les Transformers précurseurs des modèles GPT (Generative Pre-trained Transformers).
Il compare les évolutions de ces avancées avec une constatation simple : chaque innovation est souvent « très mauvaise » au départ, c'est-à-dire incapable d'égaler ou de surpasser l'humain, ce qui limite son utilité initiale. Cependant, après plusieurs itérations, ces innovations finissent par dépasser les capacités humaines (ex. : échecs, jeu de Go ou résolution de problèmes mathématiques avec AlphaProof).
Conférence 2: La réalité n'est pas un simple problème de prédiction
Speaker: Inès Montani, Explosion et contributeur à Spacy
Cette présentation explore les limites des modèles supervisés et la transition vers les modèles d'IA générative.
Problèmes évoqués :
- Dérive conceptuelle (Data Drift) : Lorsque les données d'entraînement diffèrent des données d'entrée utilisateur, limitant la précision des modèles.
- Manque de transparence : L'origine des réponses générées reste floue.
- Protection des données : Les requêtes utilisateur sont analysées et stockées pour des entraînements futurs.
Propositions de solutions :
- Transformer les prompts en données structurées pour faciliter leur analyse.
- Intégrer des humains dans le processus de validation des réponses.
Conférence 3: Obtenez un contrôle parfait sur vos applications via l'OpenSource
Speaker: Merve Noyan, Machine Learning Advocate Engineer chez Hugging Face.
Merve met en avant les avantages des modèles plus petits et spécialisés par rapport aux modèles génériques, souvent limités par des problèmes de scalabilité ou d'imprécision. Elle souligne que presque toutes les solutions du marché ont un équivalent open source aux performances similaires, parfois suffisantes pour la plupart des besoins.
Exemples cités :
- SAM (Segment Anything Model) : Sélection et extraction d'éléments dans une image.
- Whisper : Transcription audio.
- Stable Diffusion : Génération d'images.
- DreamBooth LoRA : Amélioration de la qualité des images générées.
Avantages de l'open source :
- Contrôle total sur le code source.
- Confidentialité des traitements.
- Déploiement sur l'infrastructure de son choix.
- Personnalisation des solutions.
Conférence 4: Démocratisez l'IA via l'opensource
Speaker: Sri Satish Ambati, founder of H2O
Cette conférence aborde la nécessité de démocratiser les AGI par l'open source pour mieux protéger les données et permettre des améliorations personnalisées. Sri présente GAIA, un modèle open source d'H2O, et réalise une démo de h2ogpte, un plateforme permettant de déployer des AGIs.
Conférence 5: Présentation de ZML
Speaker: Steeve Morin, CEO of ZML
Steeve présente comment il en est arrivé a créer le projet ZML. La plupart des projets ML utilisent Python pour sa simplicité et son écosystème, mais ce langage est inefficace pour l'inférence, ce qui dégrade les performances en production.
Solution proposée :
- Développement des modèles en Python.
- Exportation des modèles en fichiers standardisés.
- Utilisation de ZML (langage Zig) pour une phase d'inférence rapide et optimisée.
Cette approche évite aux développeurs de devoir maîtriser des langages bas niveau comme C ou C++.
Conférence 6: Inférence Serverless
Speaker: Yann Léger, co-fondateur de Koyeb
Cette présentation explore les défis liés à l'utilisation des GPU pour l'inférence. Aux États-Unis, 28 % des infrastructures sont dédiées à l'IA, mais elles sont souvent sous-utilisées.
Axes d'amélioration en cours :
- Réduction de la consommation énergétique des GPU.
- Accélération du chargement des modèles.
- Pré-chargement des modèles dans un cache partagé.
Conférence 7: Le futur des Agent pour IOT
Speaker: Pierre Stock, Chercheur chez Mistral
Cette conférence se concentre sur le déploiement des modèles IA sur des machines plus petites, voire directement sur des appareils personnels, pour préserver la confidentialité des données.
Pistes explorées :
- Réduction de la taille des poids (int8 ou int4 au lieu de int16).
- Quantization Aware Training : Réduction de la taille des modèles sans dégrader leur performance.
- Interleaved Sliding Windows : Limitation du contexte global au profit d’un contexte local pour optimiser la mémoire.
Conférence 8: Empathie et protection de données en IA
Speakers: Dr Laure Seugé, Pédiatre et Arthur Talpert, Head of AI Product chez Doctolib
Doctolib présente un modèle génératif capable de rédiger un compte rendu structuré après une consultation. Ce modèle suggère également des diagnostics et des questions pertinentes, tout en protégeant strictement les données personnelles des patients.
Conférence 9: Les nouveautés de Open AI
Speaker: Romain Huet et Katia Gil Guzman, OpenAI
Cette présentation introduit le nouveau modèle multimodal O1 d'OpenAI, capable d’interagir avec du texte, de l’audio et de la vidéo en temps réel avec une latence réduite. Le modèle élimine plusieurs étapes séquentielles en traitant directement les données d’entrée pour fournir une réponse plus rapide.
Une démonstration a montré ses capacités à générer des graphiques ou à appeler des API externes pour fournir des informations, comme la position actuelle de l'ISS.
Ainsi s'achève la première journée de la conférence DotAI. Restez à l’affût pour l’article détaillant le second jour !
