Senior Data Engineer

Poszukujemy doświadczonego Senior Data Engineera, który dołączy do zespołu rozwijającego nowoczesną platformę danych wspierającą globalne procesy zarządzania treścią produktową i regulacyjną. To rola z realnym wpływem na projektowanie, rozwój i utrzymanie skalowalnych rozwiązań data engineeringowych w środowisku Azure Databricks. Szukamy osób dostępnych do rozpoczęcia współpracy od 1 listopada 2026r. Informacje o kliencie Naszym klientem jest globalna firma farmaceutyczna, która rozwija zaawansowane rozwiązania data & analytics wspierające procesy biznesowe i regulacyjne na skalę międzynarodową. Poszukujemy eksperta, który dołączy do zespołu odpowiedzialnego za budowę i rozwój strategicznej platformy danych w środowisku Azure Databricks. Opis stanowiska Projektowanie, rozwój oraz utrzymanie wydajnych procesów przetwarzania danych w środowisku Azure Databricks.Tworzenie i rozwijanie pipeline'ów danych z wykorzystaniem Python, PySpark, Spark SQL oraz Delta Lake.Realizacja procesów integracji danych pochodzących z interfejsów API, plików JSON, usług Azure Storage oraz systemów korporacyjnych.Implementacja i rozwijanie architektury danych opartej na modelu Bronze, Silver, Gold.Transformacja, standaryzacja oraz przygotowywanie danych do dalszego wykorzystania przez odbiorców biznesowych i systemowych.Budowanie mechanizmów kontroli jakości danych, walidacji, uzgadniania danych oraz monitoringu procesów przetwarzania.Tworzenie automatycznych testów danych oraz wdrażanie operacyjnych mechanizmów kontroli jakości.Optymalizacja wydajności środowiska, procesów przetwarzania oraz strategii partycjonowania danych.Implementacja procesów CI/CD dla kodu i rozwiązań data engineeringowych.Tworzenie mechanizmów monitorowania, obsługi błędów oraz ponownego przetwarzania danych.Utrzymywanie wysokich standardów zarządzania danymi, zgodności, identyfikowalności i audytowalności procesów.Współpraca z architektami, interesariuszami biznesowymi oraz zespołami technologicznymi przy projektowaniu i wdrażaniu nowych rozwiązań Profil kandydata Wieloletnie doświadczenie na stanowisku Data Engineer lub w podobnej roli.Bardzo dobra znajomość Azure Databricks.Praktyczne doświadczenie w pracy z Python, PySpark oraz Spark SQL.Znajomość Delta Lake i architektury Lakehouse.Doświadczenie w projektowaniu i rozwijaniu rozwiązań opartych na modelu Bronze, Silver, Gold.Umiejętność budowania procesów integracji danych z wykorzystaniem API, plików oraz usług chmurowych Azure.Doświadczenie w pracy z ADLS Gen2 oraz usługami przechowywania danych w ekosystemie Azure.Znajomość zagadnień związanych z jakością danych, walidacją schematów, uzgadnianiem danych oraz monitorowaniem procesów.Doświadczenie w zarządzaniu metadanymi i śledzeniu pochodzenia danych (data lineage).Praktyczna znajomość Unity Catalog lub podobnych rozwiązań z obszaru governance.Umiejętność optymalizacji wydajności procesów i dużych wolumenów danych.Doświadczenie w implementacji CI/CD oraz automatycznych testów dla rozwiązań data engineeringowych.Doświadczenie w środowiskach o wysokich wymaganiach dotyczących zgodności, jakości i kontroli danych.Bardzo dobra znajomość języka angielskiego.Mile widziane: Doświadczenie z Databricks Workflows oraz Databricks Jobs.Znajomość Delta Live Tables lub Lakeflow.Doświadczenie związane z przetwarzaniem metadanych dokumentów oraz zarządzaniem referencjami do zasobów elektronicznych.Doświadczenie w projektach wymagających pełnej identyfikowalności, audytowalności oraz kontrolowanych procesów wdrożeniowych. Oferujemy Stawka do 34 EUR/hPraca w pełni zdalnaStart projektu: 1 listopadaDługoterminowy projekt do 31.10.2027Praca w międzynarodowym środowisku przy rozwoju strategicznej platformy danychRealny wpływ na rozwój nowoczesnych rozwiązań opartych o Azure Databricks i architekturę LakehouseUmowa B2B via Michael Page