MGL7320

MGL7320 - Ingénierie logicielle des systèmes d’IA

07 - Intelligence Artificielle Générative

Prelude

• Quizz sur la sélection des modèles - https://ahaslides.com/0W959

Lecture du jour

• IA Générative

Mise en pratique des GML (LLM)

Construire une application à base de GML

Le but de cet exercice est d’écrire et d’exécuter le code suivant (ou équivalent), lequel fait appel à un GML (LLM).

from langchain_core.messages import HumanMessage, SystemMessage

messages = [
    SystemMessage(content="Translate the following from English into French"),
    HumanMessage(content="I love programming."),
]

model.invoke(messages)

• Pour cela,
  • soit utiliser l’API OpenAI ou équivalents (options a priori payantes),
  • soit en local avec ChatOllama ou LM Studio - options gratuites mais demandant un ordinateur suffisamment puissant - ;
• Pour l’option locale, choisissez au départ un modèle suffisamment petit, tel que Phi3 ou mixtral:8x7b. Celui-ci nécessitera bien moins de ressources, tout en étant téléchargé bien plus rapidement ;
• LangSmith est optionnel. Il peut être notamment remplacé par Phoenix ;
• Si vous n’avez pas la possibilité d’exécuter par vous-même ce code (ordinateur pas assez puissant, etc.), regroupez-vous avec un autre étudiant qui en est capable.

Utiliser LangChain pour analyser des images

Le but de l’exercice est d’utiliser un GML pour décrire l’image suivante : https://upload.wikimedia.org/wikipedia/commons/thumb/d/dd/Gfp-wisconsin-madison-the-nature-boardwalk.jpg/2560px-Gfp-wisconsin-madison-the-nature-boardwalk.jpg

Références

• How to use multimodal prompts
• Multi-modal ChatOllama

Développer un RAG à base de LangChain

Le but de l’exercice est de pouvoir interroger les informations fournies par le blog LLM Powered Autonomous Agents, en particulier afin de pouvoir répondre à la question suivante : “What is Task Decomposition?”.

Aide

Si vous êtes bloqués, voici un notebook fonctionnel basé sur Ollama : 07_gen_ai.ipynb

Références

• Build a Retrieval Augmented Generation (RAG) App
• Chroma DB
• OllamaEmbeddings

La phase d’encodage du texte de référence peut prendre plusieurs minutes.

Projet en équipe

Compléter la mise à niveau Smart-Meter

Calendrier

• Présentation (non évaluée) du plan du projet en équipe pour le 12 novembre
• Remise et présentations (incluant démos) par les étudiants de leur projets en équipe pour le 10 décembre.

Travail personnel pour les prochaines semaines

• Si possible, compléter les exercices du jour
• Constituez les équipes pour le projet en commun (3 à 4 membres)
• Récupérer et parcourir le livre The Big Book of Generative AI (copie gratuite)
• Récupérer et parcourir le livre Augment your LLMs using RAG (copie gratuite)
• Lire et visionner IA génératives et méthodes de diffusion
• Visionner Comment fonctionne ChatGPT ?
• Télécharger pour le prochain cours le modèle llama3.2:3b d’Ollama.

Copyright (c)Laurent Magnin / UQÀM 2023-2024