Senior Backend Developer - ML Platform

Build the backbone of AI at scale Want to see your work power millions of machine learning predictions every day? Join our Machine Learning Platform team and help bring models, including Large Language Models (LLMs), into production in a reliable and scalable way. You’ll contribute to a platform that trains thousands of models and serves hundreds of millions of queries daily, while growing your expertise in distributed systems, machine learning infrastructure and agentic workflows. As a Backend Developer, you will: Contribute to the development lifecycle, including coding, testing, and deploymentAnalyze and help improve the ease of use, observability and reliability of our AI platformParticipate in maintaining services handling millions of requests and LLM calls per dayCollaborate with applied scientists, data engineers, and developers to integrate agentic applications into productionContribute to evolving our AI platform to support the growth and scale of agentic workflows for Coveo usersSuggest improvements to existing processes and use AI coding tools to support your development workflow Here is what will qualify you for the role: 5+ years of experience in backend development in a cloud environment (Python or Java/Spring preferred, AWS an asset)Good understanding of distributed systems and scalable application designAbility to solve problems and debug systems with guidance when neededComfortable learning new tools, technologies, and best practices What will make you stand out: Familiarity with Terraform, AWS Bedrock, OpenSearch serverless or other vector databases, LiteLLM or other LLM inference gatewaysExposure to machine learning workflows or agentic workflowsInterest in scalable backend services, large-scale realtime systems, agentic workflows and applications or realtime inference at scale You don’t need to check every single box; passion goes a long way and we appreciate that skillsets are transferable. Send us your application, we want to hear from you! Join the Coveolife! We encourage all qualified candidates to apply regardless of, for example, age, gender, disability, gaps in CV, national or ethnic background. This job description was written by humans, assisted by AI. We may leverage technology in our hiring process to help us see the person behind the resume. Coveo is committed to providing accessible employment practices. If you require accommodation due to a disability at any point during the recruitment process, please contact HR@Coveo.com to discuss your needs. Construis les fondations de l’IA à grande échelle Tu veux voir ton travail alimenter des millions de prédictions en apprentissage automatique chaque jour? Joins-toi à notre équipe plateforme d’apprentissage automatique et contribue à déployer des modèles, incluant les grands modèles de langage (LLM), de manière fiable et évolutive. Tu participeras à une plateforme qui entraîne des milliers de modèles et traite plus de 100M de requêtes par jour, tout en développant ton expertise en systèmes distribués et en infrastructure d’apprentissage automatique. En tant que développeur.euse sénior.e, tu vas : Contribuer à l’ensemble du cycle de développement, incluant la programmation, les essais et le déploiement.Analyser et améliorer la facilité d’utilisation, l’observabilité et la fiabilité de notre plateforme d’intelligence artificielle.Participer au maintien de services traitant des millions de requêtes et d’appels à des grands modèles de langage chaque jour.Collaborer avec des scientifiques appliqués, des spécialistes en ingénierie des données et des développeuses.eurs afin d’intégrer des applications agentiques en production.Contribuer à l’évolution de notre plateforme d’intelligence artificielle pour soutenir la croissance et le passage à l’échelle des flux de travail agentiques destinés aux utilisateurs de Coveo.Proposer des améliorations à nos processus existants et utiliser des outils de programmation assistée par l’intelligence artificielle afin d’optimiser ton travail. Concrètement, voici ce qui te qualifie pour le rôle : Plus de 5 ans d’expérience en développement d’applications dorsales dans un environnement infonuagique (Python ou Java/Spring privilégiés; une expérience avec Amazon Web Services (AWS) constitue un atout).Bonne compréhension des systèmes distribués et de la conception d’applications évolutives.Capacité à résoudre des problèmes et à diagnostiquer des systèmes avec de l’accompagnement lorsque nécessaire.Aisance à apprendre de nouveaux outils, technologies et meilleures pratiques. Ce qui te permettra de te démarquer : Expérience avec Terraform, AWS Bedrock, OpenSearch Serverless, des bases de données vectorielles, LiteLLM ou d’autres passerelles d’inférence pour grands modèles de langage.Expérience des flux de travail en apprentissage automatique ou des flux de travail agentiques.Intérêt marqué pour les services dorsaux évolutifs, les systèmes en temps réel à grande échelle, les flux de travail et applications agentiques ou l’inférence en temps réel à grande échelle. Tu n’as pas besoin de cocher toutes les cases : la passion est un gros atout et nous reconnaissons que les qualifications sont transférables. Envoie-nous ta candidature, on veut en apprendre plus sur toi! Joins la Coveolife! Nous encourageons toutes les candidatures qualifiées, indépendamment de l’âge, du sexe, du handicap, des écarts de parcours ou de l’origine. Cette description de poste a été rédigée par des humains, assistés par l'IA. Nous pourrions avoir recours à la technologie dans notre processus de recrutement pour nous aider à voir la personne derrière le CV Coveo s'engage à offrir des pratiques d'emploi accessibles. Si vous avez besoin de mesures d'adaptation en raison d'un handicap à tout moment du processus de recrutement, veuillez contacter HR@Coveo.com pour en discuter.