Paweł Pinkos – Data Engineer

Nazywam się Paweł Pinkos, jestem Data Engineerem z ponad 10-letnim doświadczeniem w projektowaniu, implementacji i utrzymaniu skalowalnych potoków danych. Moja rola koncentruje się na budowaniu niezawodnej architektury danych, która wspiera kluczowe operacje i analitykę w przedsiębiorstwach.

Kluczowe Obszary Specjalizacji

Architektura Big Data i Przetwarzanie Strumieniowe

Specjalizuję się w systemach Big Data i przetwarzaniu zdarzeń w czasie rzeczywistym (Complex Event Processing).

  • Technologie Streamingowe: Ekspert w implementacji rozwiązań opartych na Kafka, Apache Storm i Apache Beam, umożliwiających natychmiastową reakcję biznesu na napływające dane.
  • Przetwarzanie Danych: Projektowanie i utrzymanie potoków w oparciu o Spark/Databricks (Scala/Python/Java) oraz tradycyjnych procesów ETL/ELT.
  • Repozytoria Danych: Doświadczenie w budowaniu baz danych, data martów oraz nowoczesnych rozwiązań na platformach chmurowych.

Cloud Computing

Posiadam praktyczne doświadczenie w budowaniu i zarządzaniu środowiskami danych w chmurze publicznej.

  • Google Cloud Platform (GCP): Projektowanie i utrzymanie dużych potoków danych w środowisku GCP. Posiadam wiedzę z zakresu BigQuery, Dataproc, Pub/Sub.
  • Microsoft Azure: Wdrażanie procesów ETL/ELT przy użyciu Databricks (Spark) na platformie MS Azure.

Jakość Danych i Nadzór

Kluczowym elementem mojej pracy jest zapewnienie wysokiej jakości danych.

  • Data Quality: Projektowanie i implementacja zaawansowanych, kompleksowych rozwiązań do kontroli i walidacji jakości danych, minimalizujących ryzyko błędnych decyzji biznesowych.
  • DevOps dla Big Data: Zarządzanie infrastrukturą, utrzymanie klastrów Apache Hadoop oraz automatyzacja zadań przy użyciu narzędzi takich jak Apache Airflow, Oozie i Unix/Shell Scripting.

Doświadczenie Branżowe

Szeroki przekrój doświadczenia pozwala mi szybko zaadaptować się do specyfiki danego sektora:

  • E-commerce
  • Telekomunikacja
  • Logistyka
  • Linie Lotnicze
  • Rynek Wodny

Rozwój i Automatyzacja

Jako Data Engineer, aktywnie rozwijam swoje kompetencje w obszarach przyszłości:

  • Sztuczna Inteligencja (AI/ML): Przygotowanie i inżynieria danych pod kątem modeli Machine Learning.
  • Automatyzacja Procesów Biznesowych: Wykorzystanie danych i narzędzi Big Data do automatyzowania procesów wewnętrznych i zwiększania efektywności operacyjnej.