|
Bonjour,
AMD a partagé sur son blog des guides expliquant étape par étape comment télécharger et exécuter un bot de chat en local sur les PC Ryzen™ AI ou les cartes graphiques Radeon™, activer la RAG (Retrieval Augmented Generation) afin d’améliorer et de fournir un contexte avec un grand modèle de langage (LLM - Large Language Model) ou encore utiliser un LLM local afin de coder en toute confiance.
L’exécution locale de ces applications permet de préserver la confidentialité de vos données sur votre PC équipé d’une puce IA et fonctionne même sans connexion internet.
Pour voir cela se concrétiser, AMD a enregistré des démonstrations de tests de performance mettant en avant les capacités du système Ryzen™ AI dans l’exécution d’applications IA face à la concurrence. Les tests montrent comment Ryzen™ AI surpasse l’Intel Core Ultra 7 dans la génération de contenu – y compris la programmation – avec des vitesses plus rapides sur un chatbot IA LLM.
Les données de performance de Ryzen AI par rapport au Core Ultra 7 155H incluent :
-
Pour les tokens par seconde, Ryzen AI est jusqu'à 17 % plus rapide sur Mistral Instruct et jusqu'à 14 % plus rapide sur LLAMA v2 Chat.
-
En ce qui concerne le temps nécessaire pour obtenir le premier token, Ryzen AI est jusqu'à 41 % plus rapide sur Mistral Instruct et jusqu'à 79 % plus rapide sur LLAMA v2 Chat.
Pour en savoir plus, vous pouvez consulter le dossier de presse, le briefing et les démonstrations ICI.
À noter :
Durant la voix off sur la diapositive 6 (à environ 5 minutes), nous nous sommes mal exprimés :
-
Il s'agit d'une perte de perplexité et non d'une perte de précision.
-
Il s'agit de 87 % pour Q2 et non de 10 %.
Les pertes de perplexité pour la quantification de llama.cpp sont les suivantes :
Q2 - 87% de perte de perplexité
Q4 K M - 5.4% de perte de perplexité (recommandé par AMD pour un usage quotidien, également recommandé par Meta)
Q5 K M - 1,4 % de perte de perplexité (recommandé par AMD pour le codage, également recommandé par Meta).
Ceci peut être vu par la commande quantize --help dans llama.cpp :
https://github.com/ggerganov/llama.cpp/discussions/2094#discussioncomment-6351796
Veuillez nous excuser pour la confusion que cela aurait pu engendrer.
N’hésitez pas à revenir vers moi si vous avez la moindre question ou si vous souhaitez organiser un rendez-vous avec un porte-parole d'AMD pour clarifier quoi que ce soit.
Bien cordialement
|
