AI QA Engineer (GenAI & ML Systems)

AI QA Engineer (GenAI & ML Systems) | Mercedes-Benz > Karriere > Jobsuche > Stellenausschreibungen DE EN HU Anbieter/DatenschutzUnternehmenTechnologieNachhaltigkeitKarriereInvestorenPresse ProdukteKarriereJobsucheAI QA Engineer (GenAI & ML Systems)Tätigkeitsbereich:Forschung & Entwicklung incl. DesignFachabteilung:Powertrain Data EngineeringGesellschaft:Mercedes-Benz Research and Development India Private LimitedStandort:Mercedes-Benz Research and Development India Private Limited, Bangalore Startdatum:01.11.2026Veröffentlichungsdatum:12.10.2026Stellennummer:MER00048YIArbeitszeit:Vollzeit BewerbenAufgabenJob Description: AI QA Engineer (GenAI & ML Systems)We hiring an AI QA Engineer to own the quality, reliability and safety of our GenAI and ML-driven engineering applications. You will define how we test non-deterministic systems, from prompts and RAG pipelines to agentic workflows, and set the release bar for AI features used across Powertrain Engineering.Key Responsibilities :• Design evaluation frameworks for LLM, RAG and agentic systems: accuracy, hallucination, consistency, latency and cost• Build golden datasets, regression suites and automated eval pipelines integrated into CI/CD• Run red-teaming and adversarial tests: prompt injection, jailbreaks, data leakage, bias and toxicity• Validate retrieval quality, tool-calling and multi-step agent behavior• Define quality gates and release criteria for AI features• Monitor production drift and failure modes; lead root-cause analysis with AI engineers• Report quality metrics and risks to engineering leadership QualifikationenRequired Qualifications :• 4-8 years in QA/SDET, including 1-2+ years testing ML or GenAI systems• Strong Python and test automation (pytest, API testing)• Hands-on with LLM evaluation tools such as Ragas, DeepEval, promptfoo or LangSmith• Working knowledge of LLM behavior, RAG architectures, embeddings and prompt engineering• Statistical thinking: sampling, metric design, confidence, and the limits of LLM-as-judge• CI/CD (GitHub Actions or Azure DevOps), Git and cloud fundamentals (Azure preferred)Preferred Qualifications• Experience with agent frameworks and MCP/tool integrations• Observability tooling for tracing and drift monitoring• Exposure to engineering or automotive domains Who Qualifies :Skeptical by default, precise, comfortable with non-deterministic outputs, a clear writer, and a close collaborator to AI engineers.Experience: 4-8 yearsEmployment: Full-timeBenefits Mit­arbeiter­rabatte möglich Gesund­heits­maß­nahmen Mit­arbeiter­handy möglich Essens­zulagen Betrieb­liche Alters­ver­sorgung Hybrides Arbeiten möglich Mobilitäts­angebote Mit­arbeiter Events Coaching Flexible Arbeits­zeit möglich Kinder­betreuung Park­platz Kantine, Café Gute An­bindung Barriere­frei­heit Betriebs­arzt KontaktMercedes-Benz Research and Development India Private LimitedPlot No. 5-P, EPIP 1st Phase560066 BangaloreDetails zum StandortMBRDI Recruitment E-Mail: mbrdi_recruitment@mercedes-benz.com BewerbenDie Mercedes-Benz Group.Die Mercedes-Benz Group AG (ehemals Daimler AG) ist eines der erfolgreichsten Automobilunternehmen der Welt. Mit der Mercedes-Benz AG gehören wir zu den größten Anbietern von Premium- und Luxus-Pkw und Vans. Die Mercedes-Benz Mobility AG bietet Finanzierung, Leasing, Fahrzeugabos und –miete, Flottenmanagement, digitale Services rund um Laden und Bezahlen, die Vermittlung von Versicherungen sowie innovative Mobilitätsdienstleistungen an.Mehr erfahrenTechnische Support-HotlineKontaktStandorteAnbieterRechtliche HinweiseEinstellungenDatenschutzLizenzhinweise DritterAllgemeine Geschäftsbedingungen© 2026. Mercedes-Benz AG. Alle Rechte vorbehalten (Anbieter)