Tapasztalt szakembert keresünk Data Engineer pozícióba ügyfelünk Global Data Insight & Analytics Europe csapatába, amely az autóipari és mobilitási szektor európai működését támogatja.
Pozíció leírása / Job descriptionA Data Engineer szerepkör a teljes körű (end-to-end) adatmegoldások szállítására összpontosít – beleértve az adattárolási megoldások tervezését, megvalósítását és optimalizálását, az adatok betöltését és feldolgozását, adattermékek létrehozását, valamint a terméktámogatást. Egy Európa-szerte használt, üzletileg kritikus adatelemzési terméket fogsz támogatni, amely a járműgyártási tervek modellezésével maximalizálja a nyereségességet, miközben szigorúan megfelel az uniós és helyi szén-dioxid-kibocsátási előírásoknak.
Kis létszámú, többfunkciós (cross-functional) csapatokban dolgozva szorosan együttműködsz majd a Product Ownerekkel, az üzleti ügyfelekkel, az IT-val és az adatarchitektokkal, hogy az üzleti célokat skálázható adatmegoldásokká alakítsd agilis, lean és modern szoftverfejlesztési gyakorlatok alkalmazásával.
Főbb feladatok:
- Éles környezetben működő adatmérnöki megoldások és adatfolyam- (pipeline) minták tervezése és építése a Google Cloud Platform (GCP) szolgáltatásaira építve (beleértve a következőket: BigQuery, Dataflow / Apache Beam, Pub/Sub, Bigtable, Data Fusion, Dataproc, Dataform, Cloud Composer / Apache Airflow, Cloud SQL, Compute Engine, Cloud Functions és App Engine).
- Meglévő Big Data adatfolyamok migrálása a Google Cloud Platform környezetbe.
- A megvalósító csapat szerves részeként való részvétel a koncepcióalkotástól az üzemeltetésig, mélyreható műszaki szakértelem nyújtása az adatplatformok telepítéséhez.
- Automatizálás megvalósítása az adatfolyamok minden szakaszában a fejlesztési és élesítési átfutási idők minimalizálása érdekében.
- Proof of Concept (PoC) megoldások azonosítása, fejlesztése, értékelése és összegzése a javasolt architektúrák validálásához.
- Egymással versengő megoldások tesztelése, teljesítménymérése (benchmarking) és összehasonlítása, valamint egyértelmű álláspont megfogalmazása az optimális technikai irányokról.
- Az incidenskezelés, a telepítési folyamatok és a gyökérok-elemzés (root cause analysis) irányítása és fejlesztése.
- Közvetlen együttműködés a Product Ownerekkel, az üzleti érintettekkel és az architektekkel a változtatások tervezése, fejlesztése, tesztelése és élesítése során, miközben elősegíted a szoros csapatmunkán alapuló kultúrát.
- Olyan modern eszközök és mérnöki gyakorlatok azonosítása és bevezetése, amelyek növelik az agilitást és a szállítási sebességet.
- Adattárházak, adattavak (data lakes) és analitikai platformok nagyszabású tervezésének és üzembe helyezésének vezetése GCP-n.
- Alapvető mérnöki háttér: Legalább 5 év mélyreható tapasztalat Java vagy Python és PySpark területén.
- Adatfolyamok és adattárházak: Legalább 5 év tapasztalat adatmérnöki pipeline-ok építésében, adattárház-rendszerek kialakításában, az alapvető ETL-elvek ismeretében és komplex SQL lekérdezések írásában.
- GCP Big Data ökoszisztéma: Legalább 5 év gyakorlati tapasztalat GCP-alapú Big Data rendszerek (batch és valós idejű) telepítésében és használatában: BigQuery, Bigtable, Google Cloud Storage, Pub/Sub, Data Fusion, Dataflow, Dataproc és Dataform.
- Adatarchitektúra: Legalább 5 év fejlesztői tapasztalat adattárházak és Big Data ökoszisztémák használatában GCP környezetben.
- Infrastructure as Code (IaC): Legalább 1 év tapasztalat Google Cloud szolgáltatások Terraformmal történő telepítésében.
- Munkafolyamat-vezérlés (Workflow Orchestration): Legalább 2 év tapasztalat Apache Airflow és/vagy Astronomer használatában.
- Relációs adatbázisok és sémák: Igazolt tapasztalat nagy teljesítményű adatfolyamok építésében, relációs sémák optimalizálásában és adattárházak kezelésében PostgreSQL használatával.
- Mentorálás és vezetés: Bizonyított tapasztalat más adat- vagy szoftvermérnökök mentorálásában, valamint rendszerszintű technikai fejlesztések előmozdításában a csapatok között.
- Alapbér Cafeteria csomaggal kiegészítve (SZÉP kártya).
- Cég által biztosított magánegészségügyi biztosítás.
- Modern irodai környezet Budapesten, a próbaidő sikeres letöltése után heti 1 nap Home Office lehetőséggel.
- A távmunkához biztosított Home Office csomag (monitor, dokkoló).
- Folyamatos hozzáférés különféle vállalati kedvezményekhez és speciális ajánlatokhoz (pl. AYCM sportbérlet és sok más egyéb).
Mező-Mészáros Ildikó - ildiko.mezo-meszaros@randstad.hu
Wenner Lili - lili.wenner@randstad.hu
...