Code AI evals
Évaluation rigoureuse de modèles générateurs de code par développeurs seniors. Préférences RLHF, détection d'hallucinations, debug d'agents codeurs.
Cohorte AI
Évaluations, RLHF et red-teaming par experts humains francophones.
Données de qualité pour labs d'IA exigeants.
Basés à Montréal — Canada
Expertise
SaaS & business AI
Évaluation de la pertinence des réponses pour cas d'usage entreprises et produits SaaS. Validation contextuelle par opérateurs de plateformes en production.
Agents & agentic workflows
Évaluation de comportements d'agents autonomes, red-teaming de pipelines agentiques, validation de raisonnements multi-étapes.
Approche
Nous croyons que la valeur réelle d'une évaluation humaine vient du jugement humain réel. Pas d'AI déguisée en annotateur. Nos experts utilisent l'IA pour amplifier leur productivité, jamais pour la remplacer. Chaque livrable porte la signature d'un humain réel, vérifiable.
- Inter-annotator agreement mesuré sur chaque batch
- Golden datasets pour calibration continue
- Traçabilité complète : qui a annoté quoi, quand, sur quelle base
- Workflow transparent, déclaré au client
Pour qui
Labs d'IA et startups qui entraînent ou évaluent des modèles touchant au français, au code, ou aux cas d'usage business. Notre cible prioritaire : l'écosystème canadien (Cohere, Borealis, spinouts Mila), avec ouverture aux clients internationaux exigeants.
Contact
Cohorte AI démarre en mai 2026. Admission de 2 à 3 clients pilotes en cours.