Summary
✨ AI‑Generated
A technology organization is seeking a Senior Data Streaming Engineer to design, implement, and optimize real-time data pipelines on a cloud data platform. The role involves Apache Beam, scalable streaming and batch processing, data integration, and close collaboration with data scientists, analysts, and software engineers to support analytics and AI initiatives.
Highlights
Senior data engineering role focused on scalable real-time streaming pipelines, cloud data platforms, data integration, and high-quality data delivery for analytics, AI, and business intelligence initiatives.
Description
Wir suchen einen hochqualifizierten Data Engineer mit umfassender Expertise im Echtzeit-Datenstreaming, in Cloud-Datenplattformen – insbesondere der Google Cloud Platform – sowie in Apache Beam.
In dieser Rolle entwickelst, implementierst und optimierst Du Streaming-Datenpipelines, die skalierbare, zuverlässige und qualitativ hochwertige Datenflüsse ermöglichen.
Dabei arbeitest Du eng mit Data Scientists, Analysts sowie Software Engineers zusammen, um Daten effizient zusammenzuführen, zu transformieren und für Analytics-, KI- und Business-Intelligence-Initiativen bereitzustellen.
Deine Aufgaben:
Entwicklung, Implementierung und Wartung von Echtzeit-Streaming-Pipelines mit Apache Beam und GCP-Services, z.
B.
Dataflow, Pub/Sub, BigQuery und Cloud Storage.Entwicklung skalierbarer ETL-/ELT-Lösungen für Streaming- und Batch-Verarbeitung.Implementierung von Strategien zur Zusammenführung von Daten, um mehrere Datenquellen in einheitliche und qualitativ hochwertige Datensätze zu integrieren.Sicherstellung von Datenqualität, Zuverlässigkeit und Observability entlang der gesamten Pipelines.Optimierung von Daten-Workflows im Hinblick auf Performance und Kosteneffizienz in Cloud-Umgebungen.Anwendung von Best Practices in den Bereichen CI/CD, Infrastructure-as-Code und Monitoring für Datenpipelines.Mitwirkung an Themen rund um Data Governance, Datensicherheit und Compliance.
Das bringst Du mit:
Mindestens vier Jahre Berufserfahrung im Data Engineering mit Schwerpunkt auf Echtzeit- bzw.
Streaming-Pipelines.Ausgeprägte Kenntnisse der Google Cloud Platform (GCP), insbesondere in Dataflow, Pub/Sub, BigQuery, Cloud Storage und Cloud Composer.Sehr gute Kenntnisse in Apache Beam oder vergleichbaren Frameworks wie Spark Structured Streaming oder Flink.Fundierte Programmierkenntnisse in Python.Erfahrung in den Bereichen Datenmodellierung, Schema-Design und Zusammenführung von Daten aus unterschiedlichen Quellen.Kenntnisse cloud-nativer DevOps-Praktiken, z.
B.
Terraform, Cloud Deployment Manager und CI/CD-Pipelines.Ausgeprägte Problemlösungskompetenz sowie die Fähigkeit, in einem dynamischen Arbeitsumfeld erfolgreich zu arbeiten.Praktische Erfahrung mit Tools zur Data Observability, z.
B.
Datadog, Prometheus oder OpenLineage.Ein sehr gutes Verständnis ereignisgesteuerter Architekturen und Message Queues.Erfahrung mit großen Datenmengen und geschäftskritischen Datenprozessen.
Benefits
30 Tage Urlaub & Möglichkeit auf 15 Tage unbezahlten Urlaub25 Tage Workation im EU-AuslandFlexible ArbeitszeitenSofakonzerte und Mitarbeitenden-EventsRabatt beim Ticketkauf & Clearing-EinsätzeCorporate Benefits & Vergünstigungen bei KESSZentrale Lage & Bezuschussung ÖPNVBike LeasingMental Health Programm & betriebliche AltersvorsorgeSprachlernplattform sowie Lunch & Learn
Wir schätzen Vielfalt und behandeln alle Bewerbungen gleich – unabhängig von Geschlecht, Herkunft, Alter, Religion, Behinderung oder sexueller Orientierung.
Unterschiedliche Perspektiven bereichern unser Team und machen EVENTIM stärker.
