BrèvesIA et Big Data

Comparer les IA génératives c’est possible

Comparer les IA génératives et analyser leurs différences est désormais possible, car toutes les intelligences artificielles génératives ne se valent pas, nous explique Nicolas Arpagian. Et surtout, elles ne consomment pas toutes les mêmes ressources. La semaine dernière, je me suis connecté sur France info un peu par hasard et j’y ai découvert la nouvelle chronique de Nicolas intitulée « Nouveau Monde ». Dimanche dernier, Nicolas y présentait le site comparia.beta.gouv.fr que nous vous recommandons vivement.

Comparez les IA génératives et analysez leurs différences

Ne vous fiez pas aux réponses d’une seule IA, nous alerte compare: IA qui nous enjoint donc de comparer les IA génératives sur son site — par contre, si vous en utilisez plusieurs, n’oubliez pas de regarder combien cela consomme…

Une start-up d’État pour comparer les IA génératives

J’ai découvert le concept de start-up d’État dans le dernier livre de Stéphane Schultz, Après la Tech. Un livre sur lequel nous analyserons bientôt dans Visionary Marketing puisque la date de l’interview avec l’auteur est déjà fixée.

Compar:IA est donc une start-up d’État. « Au sein de la direction interministérielle du numérique (DINUM), elle propose un site gratuit pour confronter les résultats fournis par différentes IA à une même question, » nous explique Nicolas Arpagian dans sa chronique. Le site disponible à l’adresse comparia.beta.gouv.fr m’a ouvert les yeux sur bien des aspects de ces outils.

Comparer et évaluer les modèles d’IA génératives

J’avais intuitivement l’impression que ces différents modèles ne se valaient pas et que certains étaient meilleurs que d’autres sur certaines requêtes. Mais j’étais loin de me douter de l’immense variation des résultats en fonction d’un même prompt. L’outil proposé par compar:IA rend visible et tangible cette impression.

Mais bien mieux encore, elle permet de comparer la consommation des différents modèles d’IA générative et là, je suis carrément tombé de ma chaise, tant les différences sont énormes.

Voici un des exemples proposés par le site : « détaille les étapes simples pour comprendre le concept de la photosynthèse comme si tu l’expliquais à un enfant de primaire ». Le site soumet ce prompt à deux modèles anonymes. Voici les réponses obtenues.

comparer IA génératives
La comparaison de deux modèles d’IA proposée par le site

En cliquant sur « étape suivante », vous pourrez donner vos préférences je vais choisir le modèle B dont je vais indiquer que je préfère les réponses plus complètes avec une mise en forme plus claire.

Maintenant, je passe à nouveau à l’étape suivante pour découvrir la consommation derrière ces deux modèles. Ici, on verra que le LLM que j’ai préféré est celui de Meta (Llama) dont j’ai entendu dire plusieurs fois qu’il était plus frugal. Toutefois, comparé à Mistral (à gauche), il consomme cinq fois plus d’énergie.

Screenshot

Parmi mes essais, c’est Google Gemini qui décrochait le pompon avec une consommation équivalente à 12 h d’une ampoule LED pour une question très simple et une réponse de quelques lignes. On remarquera aussi que certains modèles, comme Llama notamment, sont plus verbeux que d’autres.

Lire et écouter la chronique de Nicolas sur France Info.

À propos de Nicolas Arpagian

Nicolas Arpagian est Vice-Président chez Headmind Partners. Auteur de plusieurs ouvrages sur la cybersécurité, il est reconnu pour son analyse des enjeux numériques actuels. Il est chroniqueur hebdomadaire « Nouveau Monde » sur France Info. Il a précédemment travaillé chez Orange Cyberdefense, Trend Micro. En tant qu’enseignant, il intervient dans des institutions comme Sciences Po Saint-Germain-en-Laye, l’ENSP et l’Université Polytechnique Mohammed VI au Maroc.

 

Yann Gourvennec

Yann Gourvennec created visionarymarketing.com in 1996. He is a speaker and author of 6 books. In 2014 he went from intrapreneur to entrepreneur, when he created his digital marketing agency. Yann Gourvennec a créé visionarymarketing.com en 1996. Il est conférencier et auteur de 6 livres. En 2014, il est passé d'intrapreneur à entrepreneur en créant son agence de marketing numérique. More »

Laisser un commentaire

Bouton retour en haut de la page