Data Platform Developer

Algoteque — Poland · Posted ~1 day ago

Skills

Apache Kafka Kafka Connect Kafka Streams kSQL Java Spring Boot microservices Avro Protobuf JSON Schema GraphQL MongoDB Amazon S3 Apache Iceberg

🔓 Log in to save this job, tailor your resume & track your apply process — 7 days free, no card needed.

Log in to add to target list

Summary ✨ AI‑Generated

A data platform development role focused on event-driven architectures, streaming infrastructure, backend microservices, and data integration. You will design and version data schemas, build connectors for multiple storage systems, develop APIs, and help create scalable data solutions using modern distributed technologies.

Highlights

Opportunity to design and develop modern event-driven data platforms and backend services across diverse technology-focused projects. The role involves advanced streaming, data integration, schema management, microservices, and API development.

Description

ALGOTEQUE to firma doradcza IT, która wspiera startupy, średnie i duże przedsiębiorstwa w tworzeniu i wdrażaniu innowacyjnych technologii. Nasz zespół ma udokumentowane sukcesy w projektowaniu, rozwijaniu, wdrażaniu i integracji rozwiązań programistycznych (AI, ML, BI, Web, Automatyzacja) dla branż takich jak telekomunikacja, energetyka, bankowość, ubezpieczenia, farmacja, motoryzacja, przemysł oraz e-commerce. Świadczymy nasze usługi zarówno w modelu fixed-price, jak i time-and-materials, pomagając naszym klientom w osiąganiu ich celów biznesowych i strategii IT. Zakres współpracy: Projektowanie i rozwój rozwiązań event-driven z wykorzystaniem Apache Kafka, Kafka Connect, Kafka Streams i kSQL. Tworzenie mikroserwisów backendowych w Java / Spring Boot obsługujących zdarzenia Kafka. Projektowanie i wersjonowanie schematów danych (Avro, Protobuf, JSON Schema). Rozwój konektorów Kafka Connect do MongoDB, S3, Apache Iceberg oraz innych systemów. Budowa API GraphQL z wykorzystaniem Quarkus/GraalVM i MongoDB. Automatyzacja konfiguracji topików, konektorów Kafka Connect, streamów kSQL i aplikacji Kafka Streams. Implementacja monitoringu, logowania i distributed tracing z wykorzystaniem Prometheus, Grafana, OpenTelemetry, ELK, Vector, Dynatrace. Diagnostyka problemów związanych z replikacją, opóźnieniami i przetwarzaniem zdarzeń oraz optymalizacja konfiguracji Kafki. Współpraca w środowisku Scrum/Kanban z Data Engineerami, DevOpsami i analitykami. Dokumentowanie rozwiązań i dzielenie się wiedzą w zespole. Wymagania: Minimum 3 lata doświadczenia komercyjnego w środowiskach produkcyjnych. Bardzo dobra znajomość Apache Kafka, w tym brokerów, topiców, producentów, konsumentów i mechanizmów replikacji. Praktyczna znajomość Kafka Streams, kSQL oraz Kafka Connect, w tym konfiguracji i rozwoju konektorów. Bardzo dobra znajomość Java i Spring (Spring Boot, Cloud, Security, Data). Doświadczenie w pracy z MongoDB, projektowaniu schematów dokumentowych, indeksowaniu i optymalizacji zapytań. Doświadczenie w tworzeniu serwisów GraphQL. Podstawowa znajomość Apache Iceberg. Znajomość Python. Doświadczenie z Prometheus, Grafana i OpenTelemetry. Znajomość mechanizmów bezpieczeństwa: TLS, SASL, ACL, szyfrowanie danych. Doświadczenie w pracy w Scrum/Kanban oraz znajomość Jira i Confluence. Dodatkowe informacje: Forma współpracy: B2B. Lokalizacja: zdalnie / Wrocław (przewidziane są spotkania projektowe raz w miesiącu w biurze).