Disponible · Remote

Pier-Rick Lamontagne

Évaluateur IA & Spécialiste Red-Team · QA Conversationnel

12 ans d'audit qualité, appliqués aux systèmes d'IA. Bilingue FR/EN.

Voir les projets Me contacter

Profil

Professionnel de l'assurance qualité avec plus de 12 ans d'expérience à évaluer des comportements d'agents, concevoir des rubriques et encadrer la performance — aujourd'hui appliqués aux systèmes d'IA. Expérimenté dans l'identification de modes d'échec, d'incohérences dans les sorties et de lacunes de politique dans des environnements complexes et à fort volume. Praticien des outils d'IA générative (Claude, Gemini, Google AI Studio, Claude Code), des concepts de red-teaming, du prompt engineering et de l'infrastructure LLM auto-hébergée. Bilingue FR/EN, rigoureux par nature, motivé à rendre les systèmes d'IA plus sûrs et fiables.

Projets

Outil QA · IA

Évaluateur QA — Chatbot IA

Application web Flask pour évaluer des conversations de chatbot IA contre une grille qualité structurée de 15 critères. Système de score pondéré sur 100, règle d'échec automatique pour la sécurité, export CSV et rapport HTML. Interface bilingue FR/EN.

PythonFlaskSQLiteJinja2
  • 15 critères : ouverture, plan technique, soft skills, fermeture & sécurité
  • File d'attente multi-conversations + saisie par coller ou CSV
  • Rapport HTML exportable avec scores détaillés par critère
  • Règle de sécurité : score nul automatique en cas d'échec
En développement

Gestionnaire de campagnes TTRPG

Application full-stack de gestion de campagnes de jeu de rôle sur table. Navigateur d'aventures, bestiaire, gestionnaire de PNJ et de rencontres, cartes interactives. Stack React + TypeScript + Node.js + PostgreSQL.

ReactTypeScriptNode.jsPostgreSQL

Bientôt disponible

Compétences

Évaluation IA

  • Test de prompts & cohérence des sorties
  • Conception de rubriques d'évaluation
  • Identification de modes d'échec
  • Détection de lacunes de politique

Red-Teaming

  • Prompting adversarial
  • Reconnaissance de patterns de jailbreak
  • Sondage de cas limites
  • Évaluation sécurité & alignement

Méthodologie QA

  • ITIL · Frameworks d'audit
  • CSAT / KPI / FCR / AHT / NPS
  • Rubriques structurées & sessions de calibration

Outils IA & Technique

  • Claude · Gemini CLI · Google AI Studio
  • Ollama · LM Studio · Prompt Engineering
  • Linux · Docker · Home Assistant
  • Power BI · Verint · Remedy ITSM

Expérience

2023 – 2025 CGI

Coordonnateur AQ & Support à la formation

  • Évaluation d'interactions d'agents contre des rubriques qualité, identification de patterns d'erreur récurrents et de lacunes de conformité.
  • Conception de frameworks de feedback structurés pour calibrer la performance à travers des équipes distribuées.
  • Documentation de scénarios d'échec et de cas limites pour guider l'amélioration des processus.
2013 – 2023 CGI

Coach Qualité & Formateur interne

  • Audits QA systématiques sur des centaines d'interactions par cycle avec calibration d'équipe.
  • Identification et documentation de patterns comportementaux, mauvaises applications de politique et cas limites.
  • Développement de rubriques et critères d'évaluation depuis zéro, adaptés à l'évolution des produits et politiques.
2008 – 2009 Nordia Québec

Formateur associé certifié

  • Formation d'intégration pour nouveaux agents en centre de contact.

Contact

Ouvert aux opportunités remote et contractuelles. Disponible immédiatement.

pierrick.lamontagne@atelierlamontagne.ca 581-235-2366 github.com/Bardicus-Kilgore