Poradnik CV inżyniera danych

Według BLS mediana wynagrodzenia architektów baz danych — najbliższej federalnej klasyfikacji do inżynierii danych — wynosi 135 980 USD rocznie, a prognozowany wzrost do 2034 roku to 4%. Jednak zapotrzebowanie branży na inżynierów danych znacznie przewyższa tę ostrożną prognozę, ponieważ organizacje intensywnie inwestują w infrastrukturę danych wspierającą analitykę i uczenie maszynowe [1][2].

Najważniejsze wnioski

• Należy kwantyfikować efekty pracy z pipeline'ami: wolumen danych (GB/TB dziennie), liczba rekordów, czas przetwarzania, realizacja SLA i koszt uruchomienia pipeline'u.
• Warto wymienić konkretne narzędzia (Spark, Airflow, dbt, Snowflake, Databricks) — CV inżyniera danych w dużej mierze zależy od dopasowania słów kluczowych do narzędzi [7].
• Istotne jest rozróżnienie między pracą batch a streamingową; kierownicy ds. rekrutacji przypisują im różną wagę w zależności od stanowiska.
• Oprócz budowy pipeline'ów warto wykazać kompetencje w modelowaniu danych (schemat gwiazdy, modelowanie wymiarowe, Data Vault).
• Certyfikaty chmurowych platform danych (AWS Data Engineer, Databricks, Google Cloud Professional Data Engineer) znacząco wzmacniają kandydaturę [4][5][6].

Czego szukają rekruterzy w CV inżyniera danych?

Rekruterzy oceniają trzy kluczowe kompetencje: architekturę pipeline'ów, biegłość w platformach danych oraz inżynierię niezawodności.

Architektura pipeline'ów obejmuje zdolność do projektowania i budowania przepływów przenoszenia oraz transformacji danych. Rekruterzy chcą wiedzieć: czy kandydat budował pipeline'y ETL czy ELT? Jaki wolumen danych przepływał przez nie dziennie? Jakiego narzędzia do orkiestracji używał (Airflow, Dagster, Prefect)? Czy obsługiwał przetwarzanie batch, streaming, czy jedno i drugie? Szczegóły mają kluczowe znaczenie — „budowałem pipeline'y danych" to ogólnikowe sformułowanie, które nic nie komunikuje, natomiast „zbudowałem 47 DAG-ów Airflow przetwarzających 2,3 TB dziennych danych zdarzeń z Kafki do Snowflake" przekazuje rzeczywistą kompetencję inżynierską [9].

Biegłość w platformach danych oznacza wykazanie praktycznego doświadczenia z nowoczesnym stosem danych. Obejmuje to chmurowe hurtownie danych (Snowflake, BigQuery, Redshift, Databricks), frameworki przetwarzania (Spark, Flink, Beam), narzędzia orkiestracji (Airflow, dbt), rozwiązania magazynowe (S3, GCS, Delta Lake) i platformy streamingowe (Kafka, Kinesis, Pub/Sub). Konkretna kombinacja narzędzi jest mniej istotna niż wykazanie głębi — inżynier dobrze znający Snowflake + dbt + Airflow + Kafka jest bardziej wiarygodny niż osoba, która powierzchownie wymienia każde dostępne narzędzie.

Inżynieria niezawodności odróżnia inżynierów danych pracujących w środowisku produkcyjnym od tych, którzy budują pipeline'y podatne na awarie. Rekruterzy szukają dowodów na testowanie jakości danych (Great Expectations, dbt tests, niestandardowe walidacje), monitoring i alerty (SLA pipeline'ów, kontrole aktualności, wykrywanie anomalii) oraz procedury odtwarzania (strategie uzupełniania danych, projekty idempotentne). CV ukazujące budowę stabilnych, samonaprawiających się pipeline'ów wyraźnie wyróżnia się na tle konkurencji.

Ponadto inżynierowie danych coraz częściej muszą wykazywać umiejętność współpracy z analitykami i naukowcami danych. Pipeline'y zasilają ich modele i dashboardy, dlatego warto wspomnieć o interakcjach z interesariuszami, definiowaniu kontraktów danych i budowie samoobsługowych platform danych.

Najlepszy format CV dla inżynierów danych

Należy zastosować format odwrotnie chronologiczny z jednokolumnowym układem. Struktura: podsumowanie zawodowe, umiejętności techniczne (pogrupowane według kategorii), doświadczenie zawodowe, certyfikaty, wykształcenie.

Umiejętności warto zorganizować według domen inżynierii danych:

• Języki: Python, SQL, Scala, Java
• Przetwarzanie: Apache Spark, Apache Flink, Pandas, PySpark
• Orkiestracja: Apache Airflow, dbt, Dagster, Prefect
• Przechowywanie i hurtownie: Snowflake, BigQuery, Redshift, Databricks, Delta Lake, S3, GCS
• Streaming: Apache Kafka, Kinesis, Pub/Sub, Spark Structured Streaming
• Infrastruktura: AWS (Glue, EMR, Redshift), GCP (Dataflow, Dataproc), Terraform, Docker

Jedna strona przy mniej niż sześciu latach doświadczenia; dwie strony dla seniorów zarządzających złożonymi architekturami platform.

Kluczowe umiejętności do uwzględnienia w CV inżyniera danych

Umiejętności techniczne

1. Biegłość w SQL — Złożone zapytania, funkcje okna, CTE, optymalizacja zapytań, strategie partycjonowania
2. Python — Przetwarzanie danych (Pandas, PySpark), skrypty, testy (pytest), zarządzanie pakietami
3. Apache Spark — Rozproszone przetwarzanie danych, DataFrame API, Spark SQL, tuning wydajności [8]
4. Modelowanie danych — Schemat gwiazdy, schemat płatka śniegu, Data Vault 2.0, modelowanie wymiarowe, wolno zmieniające się wymiary
5. Apache Airflow — Tworzenie DAG-ów, niestandardowe operatory, zarządzanie połączeniami, planowanie, uzupełnianie danych [9]
6. dbt — Transformacje oparte na SQL, testy, dokumentacja, modele przyrostowe, makra [10]
7. Chmurowe hurtownie danych — Snowflake (klasteryzacja, zadania, strumienie), BigQuery (partycjonowanie, widoki zmaterializowane), Redshift
8. Platformy streamingowe — Apache Kafka (producenci, konsumenci, Connect, Schema Registry), Kinesis, Flink
9. Jakość danych — Great Expectations, dbt tests, niestandardowe frameworki walidacji, kontrakty danych
10. Infrastructure as Code — Terraform do zarządzania infrastrukturą danych, CI/CD do wdrażania pipeline'ów
11. Kontrola wersji — Przepływy pracy Git dla kodu pipeline'ów, strategie rozgałęzień dla projektów dbt
12. Zarządzanie danymi — Zarządzanie metadanymi, katalogi danych (DataHub, Amundsen), śledzenie pochodzenia danych

Umiejętności miękkie

1. Komunikacja z interesariuszami — Przekładanie wymagań analityków i naukowców danych na specyfikacje pipeline'ów
2. Myślenie systemowe — Rozumienie, jak poszczególne pipeline'y wpisują się w szerszą architekturę platformy danych
3. Diagnostyka pod presją — Diagnozowanie awarii pipeline'ów blokujących raportowanie i modele ML
4. Dokumentacja — Tworzenie instrukcji obsługi pipeline'ów, słowników danych i zapisów decyzji architektonicznych
5. Priorytetyzacja — Równoważenie rozwoju nowych funkcji z pracami nad niezawodnością, długiem technicznym i reagowaniem na incydenty

Przykłady osiągnięć w sekcji doświadczenia

1. Zbudowałem i utrzymywałem 65 DAG-ów Apache Airflow orkiestrujących dzienny ETL 4,2 TB z 12 systemów źródłowych (PostgreSQL, MongoDB, REST API, S3) do hurtowni danych Snowflake.
2. Zredukowałem dzienny czas wykonywania pipeline'u z 6,3 do 1,8 godziny, migrując transformacje Pandas na PySpark na EMR — przetwarzanie 18 miliardów rekordów dziennie.
3. Zaprojektowałem architekturę streamingu zdarzeń w czasie rzeczywistym z użyciem Kafka Connect i Spark Structured Streaming, dostarczającą dane o aktywności użytkowników do hurtowni analitycznej z opóźnieniem poniżej 60 sekund.
4. Wdrożyłem projekt dbt z 340 modelami, 1 200 testami danych i automatyczną dokumentacją, pełniący funkcję warstwy transformacji dla 50-osobowej organizacji analitycznej [10].
5. Zredukowałem koszty obliczeń Snowflake o 44% (oszczędność 28 000 USD/miesiąc) poprzez optymalizację harmonogramu warehouse'ów, implementację kluczy klasteryzacji i refaktoryzację zapytań.
6. Zbudowałem framework jakości danych z Great Expectations zintegrowany z Airflow, wychwytujący 94% zmian schematu upstream przed ich propagacją do dashboardów produkcyjnych.
7. Zaprojektowałem i wdrożyłem architekturę data lakehouse na Databricks (Delta Lake), konsolidując 8 starszych magazynów danych i redukując czas zapytań analityków danych z godzin do minut.
8. Stworzono samoobsługową platformę danych umożliwiającą 30 analitykom tworzenie i wdrażanie własnych modeli dbt za pomocą przepływu GitOps z automatycznym testowaniem CI.
9. Zmigrowałem 120 starszych procedur składowanych z lokalnej hurtowni SQL Server do Snowflake z użyciem dbt, kończąc projekt 3 tygodnie przed terminem.
10. Wdrożyłem pipeline CDC (Change Data Capture) z użyciem Debezium i Kafka, przesyłający strumieniowo 450 milionów dziennych zmian z PostgreSQL do Snowflake z semantyką exactly-once.
11. Zbudowałem zautomatyzowany system uzupełniania danych dla DAG-ów Airflow, zdolny do idempotentnego ponownego przetwarzania do 90 dni danych historycznych, redukując interwencję ręczną przy awariach pipeline'ów o 85%.
12. Zaprojektowałem framework wolno zmieniających się wymiarów (SCD Type 2) w dbt obsługujący 12 tabel wymiarowych, zachowujący pełną historię na potrzeby audytu i analityki.
13. Ustanowiłem monitoring pipeline'ów z niestandardowymi dashboardami Datadog śledzącymi SLA aktualności w 200 tabelach, osiągając 99,4% terminowości dostaw.
14. Opracowałem wewnętrzny Python SDK do śledzenia zdarzeń, standaryzujący schematy zdarzeń w 8 mikroserwisach i redukujący nakład pracy na czyszczenie danych downstream o 60%.
15. Współpracowałem z zespołem ML engineering przy budowie pipeline'ów cech w Spark zasilających 4 produkcyjne modele uczenia maszynowego, przetwarzających 200 milionów wektorów cech dziennie.

Przykłady podsumowania zawodowego

Starszy inżynier danych (7+ lat)

Inżynier danych z 8-letnim doświadczeniem w budowie produkcyjnych platform danych na dużą skalę. Zaprojektował architekturę lakehouse opartą na Snowflake przetwarzającą 4,2 TB dziennie w 65 DAG-ach Airflow, redukując czas zapytań analitycznych o 90%. Poprowadził migrację z tradycyjnego ETL na warstwę transformacji opartą na dbt obsługującą 50 analityków. Certyfikaty: AWS Certified Data Engineer i Databricks Certified Data Engineer.

Inżynier danych średniego szczebla (3–5 lat)

Inżynier danych z 4-letnim doświadczeniem w budowie pipeline'ów batch i streamingowych w Python, Spark i Airflow. Utrzymywał projekt dbt z 340 modelami obsługujący zespół analityczny B2B SaaS. Wdrożył framework jakości danych wychwytujący 94% problemów upstream przed ich wpływem na dashboardy. Doświadczenie z Snowflake, Kafka i usługami danych AWS.

Początkujący inżynier danych (0–2 lata)

Inżynier danych z tytułem magistra data science i rocznym doświadczeniem zawodowym w budowie pipeline'ów ETL w Python i SQL. Podczas stażu w startupie serii B zbudował DAG-i Airflow przetwarzające 500 GB dziennych danych zdarzeń e-commerce. Biegłość w SQL, Python, Spark i dbt. Certyfikat Google Cloud Professional Data Engineer.

Wykształcenie i certyfikaty

Inżynierowie danych zazwyczaj posiadają tytuł licencjata w dziedzinie informatyki, data science, inżynierii oprogramowania lub pokrewnej [1]. Tytuł magistra jest coraz powszechniejszy, ale nie jest wymagany.

Wartościowe certyfikaty:

• Databricks Certified Data Engineer Associate/Professional (Databricks) — potwierdza umiejętności Spark i lakehouse [4]
• Google Cloud Professional Data Engineer (Google Cloud) — potwierdza kompetencje w platformie danych GCP [5]
• AWS Certified Data Engineer — Associate (Amazon Web Services) — obejmuje usługi danych AWS kompleksowo [6]
• dbt Analytics Engineering Certification (dbt Labs) — potwierdza umiejętności w warstwie transformacji [10]
• Confluent Certified Developer for Apache Kafka (Confluent) — potwierdza biegłość w streamingu
• Snowflake SnowPro Core Certification (Snowflake) — potwierdza znajomość platformy hurtowni danych

Najczęstsze błędy w CV inżyniera danych

1. Opisywanie siebie jako „analityka danych, który też buduje pipeline'y". Inżynieria danych to odrębna dyscyplina. Pisanie zapytań SQL do dashboardów to analityka. Budowa infrastruktury umożliwiającej te zapytania to inżynieria — i tak należy się pozycjonować.

2. Brak metryk wolumenu danych. Inżynieria danych definiowana jest przez skalę. CV bez liczb — przetworzonych rekordów, przeniesionych gigabajtów, utrzymywanych tabel, liczby pipeline'ów — sugeruje pracę na małą skalę, niezależnie od faktycznego doświadczenia.

3. Wymienienie SQL bez wykazania zaawansowanego użycia. Podstawowy SQL zna każdy specjalista od danych. Funkcje okna, CTE, optymalizacja zapytań, strategie partycjonowania i tuning wydajności pozwalają się wyróżnić.

4. Brak wzmianki o niezawodności i jakości. Pipeline, który działa, to absolutne minimum. Pipeline, który działa stabilnie, testuje jakość danych, alertuje przy awariach i sam się naprawia — za to firmy płacą wynagrodzenia seniorskie. Warto wykazać pracę nad monitoringiem, testowaniem i obserwowalnością.

5. Mylenie doświadczenia ze Spark z doświadczeniem z Pandas. Przetwarzanie 100 MB w Pandas i 4 TB w Spark na klastrze to fundamentalnie różne rzeczy. Należy uczciwie opisać skalę, na której się pracowało — rekruterzy będą drążyć ten temat.

6. Pomijanie kontekstu biznesowego pracy z danymi. Pipeline'y danych istnieją po to, by realizować cele biznesowe. Warto połączyć pracę techniczną z zastosowaniem downstream: „zbudowałem pipeline zasilający model predykcji odpływu klientów" jest bardziej przekonujące niż „zbudowałem pipeline z Kafki do Snowflake".

Słowa kluczowe ATS dla CV inżyniera danych

Języki i narzędzia: Python, SQL, Scala, Java, PySpark, Pandas, Apache Spark, Apache Airflow, dbt, Apache Kafka, Apache Flink, Beam

Platformy: Snowflake, BigQuery, Redshift, Databricks, Delta Lake, AWS, GCP, Azure, EMR, Glue, Dataflow, Dataproc

Koncepcje: ETL, ELT, pipeline danych, modelowanie danych, schemat gwiazdy, modelowanie wymiarowe, hurtownia danych, jezioro danych, data lakehouse, Data Mesh, streaming, przetwarzanie batch, CDC

Jakość i zarządzanie: jakość danych, Great Expectations, testowanie danych, pochodzenie danych, katalog danych, zarządzanie metadanymi, kontrakty danych, Schema Registry

Infrastruktura: Terraform, Docker, Kubernetes, CI/CD, Git, GitHub Actions, Infrastructure as Code

Warto umieszczać zarówno nazwę narzędzia, jak i kategorię: „Apache Airflow" i „orkiestracja", „Snowflake" i „hurtownia danych" [7].

Najważniejsze wnioski

CV inżyniera danych musi dowodzić, że kandydat buduje niezawodną, skalowalną infrastrukturę danych — a nie tylko pisze zapytania SQL. Należy kwantyfikować efekty pracy z pipeline'ami za pomocą wolumenów danych, czasów przetwarzania i metryk niezawodności. Warto wymieniać narzędzia z nazwy, wykazywać kompetencje w modelowaniu danych obok budowy pipeline'ów i łączyć osiągnięcia techniczne z wynikami biznesowymi. Certyfikaty chmurowych platform danych dodają wiarygodności, szczególnie kandydatom z mniej niż pięcioletnim doświadczeniem.

Stwórz swoje zoptymalizowane pod ATS CV inżyniera danych z Resume Geni — zacznij za darmo.

Najczęściej zadawane pytania

Jaka jest różnica między inżynierem danych a analitykiem danych w kontekście CV? Inżynierowie danych budują infrastrukturę (pipeline'y, hurtownie, platformy); analitycy danych korzystają z tej infrastruktury, by generować wnioski. Jeśli praca koncentruje się na budowie i utrzymaniu systemów danych, należy pozycjonować się jako inżynier. Jeśli na zapytaniach i wizualizacjach — to analityka.

Czy powinienem wymienić każde narzędzie z nowoczesnego stosu danych? Warto wymieniać narzędzia używane w środowisku produkcyjnym, o których można swobodnie dyskutować na rozmowie kwalifikacyjnej. Precyzyjna lista 8–12 dobrze znanych narzędzi jest bardziej wiarygodna niż 30 pozycji sugerujących powierzchowną znajomość.

Czy do roli inżyniera danych wymagany jest tytuł magistra? Nie. BLS wskazuje, że dla architektów baz danych i pokrewnych ról typowy jest tytuł licencjata [1]. Wielu inżynierów danych posiada licencjat z informatyki lub przeszło z inżynierii oprogramowania bądź analityki.

Jak pokazać doświadczenie ze streamingiem, jeśli większość mojej pracy to batch? Nawet ograniczone doświadczenie ze streamingiem — z projektów własnych czy proof-of-concept — warto uwzględnić. Należy uczciwie opisać doświadczenie batch, jednocześnie podkreślając elementy przetwarzania w czasie rzeczywistym. Wiele ról inżyniera danych wymaga obu kompetencji.

Jaki jest zakres wynagrodzeń inżynierów danych? BLS podaje medianę 135 980 USD rocznie dla architektów baz danych na maj 2024, z górnym decylem powyżej 209 990 USD [2]. Branżowe badania wynagrodzeń konsekwentnie plasują medianę dla inżynierów danych powyżej 130 000 USD.

Czy warto uwzględniać wkład w projekty open source? Zdecydowanie tak. Kontrybucje w projekty takie jak Apache Airflow, dbt czy Great Expectations świadczą zarówno o umiejętnościach technicznych, jak i o zaangażowaniu w społeczność. Warto podać nazwę projektu, rodzaj wkładu i metryki (scalony PR, rozwiązane zgłoszenia).

Jak ważne jest doświadczenie z dbt? Bardzo ważne. dbt stał się de facto standardem transformacji opartych na SQL w nowoczesnych stosach danych [10]. Jeśli posiada się doświadczenie z dbt, należy je wyeksponować. Jeśli nie — warto rozważyć naukę. Certyfikat jest stosunkowo przystępny i cieszy się dużym uznaniem na rynku.