[F6FCO]

TUTO - AIDE MEMOIRE IA embarquée - Vulgarité scientifique

Quelques trucs à savoir:
- Le nom --> LLM: Large Langage Machine.
- Les gros LLM sont propriétaires (Gemini/google, Claude/Anthropic, LLama/Meta, Perplexity, Copilot/Microsoft, Mistral (cocorico), Deepseek (Chine), Ernie (Chine), etc.) Mais certains de ces gros fournisseurs d'IA mettent aussi des modèles plus restreints en open-source, c'est ces modèles qui nous intéressent.
On peut retrouver ces LLM Open-source sur des sites tels que Hugging-Face, Groq.
- Unité de base d'une IA: le token, qui correspond en gros à un mot ou parfois une syllabe.

- Fonctionnement d'un LLM:
Rien de magique (si ce n'est le niveau de technologie) il ne fait rien de plus que deviner le mot idéal à mettre au bout d'une suite de mots, il les pondère avec l'expérience de son entraînement, ses datas (connaissances), effectue une analyse sémantique (analyse le sens de la phrase), puis rajoute le mot qui a le plus gros pourcentage de réussite. Rien de plus mais avec les milliards de paramètres il donne l'impression d'être intelligent, il faudrait plutôt l'appeler "connaissance artificielle".
Pendant la phase d'entraînement le LLM a accès a toutes les bibliothéques nationales, a tout le web, toutes les publications, à certains forums, etc.
Elon Musk à déclaré il n'y a pas longtemps que pour son LLM GROK (xAI) ils étaient arrivés au maximum de ce qu'on pouvait injecter à une IA, il faudrait maintenant inventer des données !
- Pour un modèle 70b (70 milliards de paramètres) ses connaissances équivalent à celles d'un humain qui aurait lu 16 milliards de livres !
- Se termine souvent par des sigles:
. 2b (2 milliards de paramètres), 7b (7 milliards de paramètres), 70b (70 milliards de paramètres), etc.
. Instant, Instruct, des mots commerciaux pour dire que ces modèles ont été entraînés particulièrement pour la conversation.
- Pour l'installation se faire aider par un gros LLM pour démarrer, les scripts python, etc., on n'est pas obligé de tout savoir non plus.
- Matériel: PC assez récent mais pas obligé d'avoir une bête de course pour faire tourner un petit modèle. Pas la peine d'y penser avec un pentium4. Je fais tourner une IA sur mon Raspberry PI5.
- A savoir: un LLM est créé puis entraîné pendant un certain temps, puis à l'issue mis sur le marché. Son entraînement a pris fin mais il continue à s'entraîner avec vous et vos questions, la raison de la version free des IA et en récupérant par la même occasion toutes les infos que vous pourrez lui donner ( d'ou l'adage bien connu: "Quand c'est gratuit c'est vous le produit...").
Par exemple on peut demander des infos sur le PI4 à gemma:2b mais elle dira que le PI5 n'existe pas car elle a été mise sur le marché avant sa sortie.

IA embarquée sur RAspberry PI5 8Go:
- J'ai commencé par installer gemma:2b sur mon cyberdeck PI5, çà fonctionnait bien mais elle mettait entre 30 secondes et 1mn pour répondre, trop long. Ca aurait été sans doute mieux avec un PI5 16Go.
- Je suis ensuite passé sur un modèle dans le cloud, hébergé chez Groq (fabricant de puces IA, ne pas confondre avec le LLM GROK de xAI). On ouvre un compte chez Groq et demande une API (gratuite) pour faire tourner un des modèles open-source qu'ils mettent en ligne.
- Avantage: je tourne pour l'instant sur Llama-3.1-8b-Instant, bien plus puissant, hyper rapide, réponse immédiate.
- Inconvénient: fil à la patte RJ45, le modèle n'est plus hébergé sur le cyberdeck, attention aux données persos à ne pas communiquer à l'IA.

Fonctionnement d'une IA embarquée:
Pour injecter des connaissances à notre IA embarquée (lui donner des infos sur les PIC, lui apprendre vos mots de passe, etc.) il faut lui injecter des fichiers.
C'est ce qu'on appelle de RAG (Retrieval-augmented-Generation) (Génération augmentée de Récupération).
On associe à notre IA embarquée une base de données, pour la mienne j'ai choisi ChromaDB, cette base de donnée est hébergée sur notre machine.
Les fichiers sont découpés en chunks (petits paragraphes, suites de mots, etc.). La longueur des chunks est fonction de la machine qui fait tourner l'IA, pour exemple sur le PI5 je ne peux pas aller au-dessus de chunks de 500 tokens, cette limite est un maximum, mes chunks peuvent être de longueur variable et souvent plus petits.
Ces chunks sont ensuite vectorisés (transformés en une longue suite de nombres) et stockés dans la base de données (ChromaDB).
Ce travail (découpage en chunks, vectorisation) est effectué par un "Retriever" (souvent une IA spécialisée). On peut soit utiliser un retriever open-source qu'on héberge sur notre machine, soit un retriever sur le cloud (j'utilise un retriever (sentence-transformer/all-MiniLM-L6-V2) hébergé chez Hugging-face via une API gratuite chez eux).

Le fonctionnement de tout cela est lié par seulement deux scripts pythons (on se fait aider par un gros LLM pour les pondre, ils font çà très bien). Pour faire tourner mon IA je n'utilise que deux scripts : ingest.py pour injecter/vectoriser des fichiers et chat.py pour discuter et récolter les infos.



--------------------------------------------------------------------------------------------------------------------------------------------------------
Salut tout le monde,
Pour cet hiver j'avais prévu de continuer le projet Rubik et de me mettre à l'asm 16bits, et évidemment je suis parti dans autre chose.
Multi-lièvriste.
A force de leur poser des questions je me suis aperçu que les IA (toutes, même les grosses) étaient très performantes avec tous les langages évolués (C, C++, C#, Python) mais des vraies tanches en asm PIC
Je me suis amusé à leur poser des questions simples, genre hello world sur une led et elles me répondent en général en inventant des mnémoniques ou à moitié C, il y en a même une qui m'a fait un mix asm/python.
Alors j'ai posé cette question à Gemini, ChatGPT, Grok et les réponses sont les mêmes " parce que nous sommes entraînées en cherchant sur le web et les documentations, que les langages évolués sont largement représentés et que l'asm PIC est une toute petite niche peu représentative".
Vexantes en plus.
Moi de mon coté j'ai envie de me faire un majordome style J.A.R.V.I.S de Iron-Man avec la personnalité d'Alfred de Batman. Mais un majordome qui cause en python ne me sert à rien, d'ou l'idée de lui apprendre l'asm.

Pour cela je suis en train de construire un deuxième cyberdeck avec le PI5 qui me reste, 2 écrans et double arbre à cames en tête (le premier cyberdeck équipé du PI4 est réservé au pilotage de mes cnc), il est presque terminé et il servira à N.E.S.T.O.R ( Noyau Evolutif & Système Taquin Orienté Raillerie), je vais aussi lui apprendre l'humour. Il ne me reste qu'à recevoir deux UBECs pour le finaliser.
En attendant j'ai chargé plusieurs petites IA dans mon PC pour me faire la main et une culture. Je les ai testées et j'ai gardé seulement gemma-2-2B qui semble faire le job. Il y a tout un éco-système à installer et c'est très intéressant, on comprends le fonctionnement d'une IA, le traitement des questions, le traitement des réponses, comment tout est vectorisé dans un rag, etc., çà démystifie bien le truc.
Finalement "Intelligence Artificielle" n'est pas la bonne appellation, il faudrait plutôt parler de "Connaissance Artificielle".
Tout cela est maintenant fonctionnel sur mon PC (je migrerai ensuite sur le PI5) et je vais commencer à lui injecter des données pour lui apprendre l'asm, le projet est vaste et je n'ai pas une équipe d'ingénieurs d'OpenAI à mon service, pour ne pas me perdre je vais me concentrer dans un premier temps sur le PIC18F2525/4525 que je connais bien, et lui injecter aussi certaines parties du cours de Bigonoff. Suivant les résultats on verra pour aller plus loin, pourquoi pas lui injecter ensuite l'asm 16bits ? Un sacré boulot mais passionnant.
Je vous tiens au courant.

[gwion]

Salut Jean-Claude, bonjour au forum,

Tu as trouvé de quoi t'occuper pour l'hiver

[F6FCO]

Je crois que je vais être bien occupé.

[satinas]

Salut,
A propos de Rubik's cube je te joins la dernière version, c'est la der des ders.
Tu fais quoi en IA, tu installes juste le moteur sans data et tu le nourris ensuite, faut-il un PC puissant ?
J'avais demandé il n'y a pas longtemps un source clignoteur pour 32MX, ce qu'il a sorti n'était pas si mal que ça, c'est vachement démoralisant quand on pense au travail pour y arriver soi-même ex nihilo.

rubiks_12.7z

[F6FCO]

Merci pour la version, je vais tester.
Pour ma part tout ce que je leur ai demandé en asm n'était pas si probant que çà, trop d'erreurs.
Exactement j'installe le modèle et je vais lui injecter ensuite les fichiers.
Mon PC n'est pas trop mal mais pas non plus un foudre de guerre, j'ai un Ryzen 5 2600, 8Go de ram et une carte vidéo Geforce GTX1650, c'est quand même assez ancien. Après il existe une foultitude de modèles de diverses tailles et tu choisis celui qui peut-être emmené par ton matériel, taille du modèle, quantisation, etc. A noter que pour qu'il y a des softs pour faire tourner une IA sous windows (LMStudio, AnythingLLM, etc.).
Pour ma part j'ai créé un Ubuntu parallèle sur le PC car le but final sera de migrer sur le PI5, il faut que ce soit compatible.

Petit topo sur l'IA embarquée pour vulgariser et qu'on puisse tous parler de la même chose:
Entraînement:
- Il y a plein de sortes d'IA (imagerie, vidéo, etc.), celles qui nous intéressent sont les IA LLM (Large Langage Model).
- Lors de sa création une IA est d'abord entraînée par son créateur (ChatGPT par OpenAI, Grok par la société d'Elon Musk, Gemini par Google, etc.), il y en a plein d'autres.
- Ils l'entraînent pendant un certain temps en lui donnant accès aux bibliothèques nationales, au web, aux forums, etc, elle avale tout. (ce qui fait qu'elle connait beaucoup de choses mais aussi un pourcentage de choses erronées). Cet entraînement ne peut pas être fait par l'amateur, il nécessite une multitude de serveurs ( plusieurs milliers pour l'exemple de Chat GPT) et une consommation énorme et couteuse, d'ailleurs tous les fournisseurs d'IA se sont délocalisés dans des pays ensoleillés avec des parcs voltaïques.
- L'entraînement terminé elle est mise sur le marché, elles peuvent aller ponctuellement sur le web si on leur donne un lien mais elles ne continuent pas à s'entraîner. Ca peut amener certaines limitations, par exemple avec gemma que j'ai installée sur mon PC je peux lui poser des questions sur le raspberry PI4 mais elle me dit que le raspberry PI5 n'existe pas car son entraînement s'est terminé avant sa mise sur le marché.
- Pour exemple en ce moment (et çà progresse à pas de géant) une IA est entraînée sur 13 trillions de tokens (l'unité de base en IA), en gros c'est comme si on avait lu 16 millions de livres. Ce qui lui permet de connaître toutes les langues et des infos dans pratiquement tous les domaines.
- Une IA LLM est surtout entraînée pour pouvoir répondre correctement dans une discussion (Large Langage Model), pour répondre elle analyse le contexte suivant ce qu'elle a pu apprendre, par exemple: " Je rentre la voiture dans le", elle va pondérer toutes les réponses possibles parking=89%, garage=90%, champs=60%, couloir=15%, réfrigérateur=0,001%, en plus en faisant une recherche sémantique elle analyse le contexte de la phrase et de la discussion, et elle donnera la meilleure réponse. Ce qui donne avec 13 trillions de token des IA qui parlent mieux que nous mais en aucun cas elles ne réfléchissent, elles pondèrent.

Comment lui apprendre:
Son entraînement peut être modifié en faisant du 'fine-tuning', on n'en parle pas car pas à notre portée avec nos petits matériels.
Par contre on peut lui injecter des documents pour qu'elle aille s'y référer, on appelle çà un système RAG (je vulgarise). On lui créée une base de données et quand on lui posera une question en plus de son entraînement de base elle ira chercher des infos dans la base.

Comment çà fonctionne:
C'est là que ça devient intéressant et que çà démystifie le concept 'd'Intelligence'. Les pubs, le web avec ses vidéos nous ont abreuvés avec le concept de 'neurones' et on a fait automatiquement le rapprochement avec un fonctionnement ressemblant à celui de notre cerveau. Que nenni !
Je vulgarise en simplifiant, comment lui apprendre des trucs:
- Quand on lui donne des infos (fichiers .txt, .md, json) qu'on va placer dans un dossier connu, elle vectorise toutes ces données, les transforment en 'chunks' (découpage de texte) et en 'tokens' (un token peut-être un mot, une syllabe, etc.), puis elle les transforment en suite numériques qu'elle copie dans un gros fichier (on peut aller le visualiser). c'est sa base de connaissances.
- Quand on va ensuite lui poser une question, elle va vectoriser cette question de la même façon et elle va rechercher dans la base de données les suites numériques s'en rapprochant le plus. Elle va donner cette réponse.

On est loin de L'IA qui va prendre le contrôle du monde.

Ceci dit pour en revenir à ta question:
- Si tu veux rester sous windows tu installes LMStudio qui est un conteneur d'IA, tu lui installes tous les modèles d'IA que tu veux tester (ceux compatibles avec les perfs de ton PC).
- Pour faire le bon choix de modèle il vaut mieux demander à une grosse IA en lui donnant les caract du PC, elle choisira le bon modèle parmi les dizaines existant, il y a des propriétaires et des OpenSource.
Ceci fait il ne te reste qu'à leur poser tes questions. Mais le modèle te répondra seulement sur leur entraînement initial, si tu veux pouvoir lui injecter des fichiers (lui enseigner des trucs) il faut en plus installer AnythingLLM qui encapsule LMStudio en lui rajoutant une base de données(chromaDB est bien mais il en propose d'autres), il y a d'autres softs dans ce style mais c'est les seuls que j'ai testés. J'ai abandonné ensuite parce que pas compatibles avec la migration sur le PI5.
Pour Ubuntu, j'ai installé un conteneur d'IA: ollama. Pareil que LMStudio mais en lignes de commandes, dans ce conteneur je peux installer et désinstaller tous les modèles que je veux tester. Moins pratique que sous Windows, il faut installer d'autres trucs pour effectuer la vectorisation.

[Gérard]

Je crois que je vais être bien occupé.

Pas sûr qu'un hiver suffise...
C'est bien au dessus de mes neurones. Après, je n'ai jamais essayé, je réinvente chaque fois la roue.

Bon courage JC, tu nous donneras des tuyaux.

[satinas]

Merci pour le topo
LM Studio refuse de voir le fichier gguf Mistral que j'ai téléchargé sur les conseils de ChatGPT. Ca me prend déjà la tête. Je crois que je vais en rester là.
L'utilisation de l'IA online est vraiment incroyable quel que soit le domaine, santé, juridique, upgrade PC, etc. On a une réponse détaillée, certes non garantie, mais on est vraiment dans un nouveau monde. Pareil sur le Samsung avec Gemini, là c'est vocal. J'espère que tout cela restera gratos, les articles de presse au départ l'étaient mais cela n'a pas duré. Sur le smartphone, ça parle déjà d'abonnement payant à partir de 2026.

[F6FCO]

Essaie plutôt avec Gemini, pour le technique c'est la meilleure que j'ai testée https://aistudio.google.com/
Sur le PI5 j'ai installé Mistral:7b mais je n'ai pas été ébahi, au démarrage il te demande "Bonjour, comment puis-je m'aider ?"
Sur LMStudio j'ai installé gemma2-2b qui tournait bien et j'ai aussi testé gpt-oss-20b-Q4.gguf et Meta-Llama-3.1-8B-Instruct-Q4_K_M.gguf, après çà dépend de ton matériel.
Je ne peux pas utiliser ton programme rubik, il me manque QtCore4.dll, je vais essayer de le trouver.

C'est bien au dessus de mes neurones. Après, je n'ai jamais essayé, je réinvente chaque fois la roue.

Non je ne crois pas, tu te fais aider par une IA, tout le monde ne connait pas le Python et ses librairies IA orientées objet, tu lui laisse faire le boulot pour les scripts, ce que je fais. Avec les IA on est à l'aube d'une nouvelle ère et on a la grande chance de pouvoir prendre çà au début, ce serait ballot de louper le train.
Une analogie, on est nombreux ici à avoir connu les débuts de l'informatique dans les années 80, grande révolution. Internet n'existait pas, tu achetais un ordinateur (ZX81 pour moi) et tu ne pouvais qu'apprendre à programmer avec, basic, puis assembleur puis C. Aujourd'hui le jeune qui achète un ordinateur le branche et va tout de suite surfer sur internet. Il loupe tout !
Il ne faut pas faire pareil avec l'IA, autre grande révolution. Ce qui n'empêche pas de continuer avec les PIC, les deux peuvent être liés.

Bon courage JC, tu nous donneras des tuyaux.

Ah ouais, genre 'JC les bons tuyaux' avec une grosse radio sur l'épaule. Ca va faire doublon, on a déjà 'Bruno les bons tuyaux'

[satinas]

Bonjour,
Nan, les 3 versions d'exe que tu as fonctionnent dans le même dossier ou figurent les bibliothèques que je t'ai envoyées la première fois. Tu as juste à déposer l'exe 1.2 dans ce dossier (no more fichier txt, la doc est dans l'exe).
Il faut justement ne pas faire de mélange avec ces bibliothèques dynamiques Qt car il y a en a des tas qui portent le même nom mais plus ou moins anciennes. Avec les outils Microsoft on peut faire un exe plus gros intégrant ces bibliothèques en mode statique, avec Qt c'est moins simple et il y a une histoire de licence.
J'ai ajouté au logiciel le dialogue par port série, va falloir t'y remettre, j'en ai marre de faire des choses qui ne servent à rien

[F6FCO]

Lol, bien sur que je vais m'y remettre, mais va falloir me brider la cervelle parce qu'elle part dans tous les sens. Et puis tu n'as pas fait un truc pour rien, tu t'es fait plaisir à coder un beau programme

Allez je vous fait rêver avec l'IA ?
Mon majordome tourne maintenant sur le PC, j'attends d'avoir terminé le cyberdeck pour migrer.

Mais avant de vous montrer ce qu'il fait il y a quelques notions à comprendre. Comme expliqué plus haut une IA passe par une période d'entraînement puis avant d'être mise sur le marché. Une fois sur le marché quand on lui pose une question elle puise dans ses connaissances pour répondre. Mais il arrive parfois qu'elle n'ait pas la réponse: soit elle dit qu'elle n'a pas la réponse (comportement sain), soit elle fait ce qu'on appelle dans le jargon de l'IA une 'hallucination', elle recherche ce qui se rapproche le plus dans ce qu'elle connait et elle invente une réponse. Comportement qu'on ne souhaite surtout pas.

Tout cela pour dire que l'IA que je souhaite former à asm PIC est réglée fin pour ne pas halluciner, en gros elle est réglée pour s'appuyer uniquement sur les documents que je vais lui injecter. Si je lui demande 'qui était Henri IV ?" elle ne saura pas répondre si je ne lui apprend pas en injectant l'info. Si je veux savoir un truc de ce genre j'irai demander à une IA généraliste, la mienne sera pointue mais uniquement par ce que je lui apprendrais: l'asm ou/et d'autres domaines au choix, ce sera une IA spécialisée univers F6FCO. Ca va être du boulot d'injecter mais passionnant, je vais commencer par les cours de Bigonoff, la base. D'ailleurs si d'autres sur le forum s'y intéressent on pourrait croiser nos fichiers.
C'est le premier point.
Donc pour vérifier cela j'ai créé un premier fichier que m'a servi pour la tester, que des trucs improbables qui prouvent qu'elle n'a pas répondu sur ses connaissances antérieures mais bien sur la doc que je lui fournis. Voici le premier fichier test que je lui ai injecté :

Code : Tout sélectionner

# Microcontrôleur : PIC16F999

## Instructions expérimentales

### FLIPW
- Cycles : 42
- Flags affectés : Z, N, T, Q
- Description : Inverse les bits du registre W et les téléporte dans le registre fantôme F999
- Utilisation : FLIPW WREG, F999

### JUMPIFMAGIC
- Cycles : 7
- Flags affectés : M, G
- Description : Saute à l’adresse magique 0xDEAD si le bit magique est activé
- Utilisation : JUMPIFMAGIC 0xDEAD

### SUMSPIRAL
- Cycles : 13
- Flags affectés : S, P
- Description : Additionne les registres en spirale logarithmique
- Utilisation : SUMSPIRAL F1, F2, F3

## Notes techniques

- Le PIC16F999 est utilisé exclusivement dans les machines à café quantiques et les sabres laser de compétition.
- Il possède un registre caché nommé `F999` accessible uniquement via téléportation binaire.
- Les instructions ci-dessus ne sont pas reconnues par MPLAB X, mais sont compatibles avec le compilateur `QuantumCafé`.

## Avertissement


 

C'était le premier point et çà fonctionne.

Ensuite N.E.S.T.O.R signifie "Noyau Evolutif & Système Taquin Orienté Raillerie", en gros je voulais lui donner le genre de personnalité d'Alfred le majordome de Batman, pince sans rire mais qui te met la réalité dans la figure. On peut faire cela en créant un prompt bien ciblé et en lui injectant un fichier de répliques bien senties dans sa base de données.

Résultat des premiers tests en l'interrogeant sur le fichier test:

(venv) PS E:\Nestor> py chat.py
--- Chargement de la mémoire de Nestor ---
--- Mémoire chargée. Nestor est prêt. ---

(Tapez 'quitter' pour arrêter la discussion)

Votre question : quelle est l'utilisation de l'instruction FLIPW ?

--- Réponse de Nestor ---
Monsieur, vous avez bien décidé de jouer avec les bits, n'est-ce pas ? Alors, la réponse à votre question est simple : l'instruction FLIPW, comme son nom l'indique, inverse les bits du registre W et les téléporte
dans le registre fantôme F999. C'est un outil utile pour manipuler les données stockées dans le registre W, peut-être pour corriger des erreurs ou simplement pour jouer avec les bit-flips, comme je le faisais autrefois avec mes anciens employeurs.

En résumé, l'instruction FLIPW permet de inverser les bits du registre W et de les stocker dans le registre fantôme F999. Et voilà, Monsieur, vous avez votre réponse technique, ainsi que quelques-unes des subtilités du jargon technique, si je peux me permettre.

(P.S. : Si vous devez encore comprendre l'utilisation de FLIPW, il est peut-être temps pour une petite leçon de programmation en Assembleur.)
------------------------

Votre question :