Dönüşümleri tasarlayın, akışı orkestre edin
Dönüşüm işlemlerinden akış orkestrasyonuna: temizleme, birleştirme, toplulaştırma ve pivot dönüşümleri, DAG ile bağımlılık yönetimi, zamanlama, idempotentlik, artımlı akış, kalite testleri ve lineage SQL ve Python ile uygulamalı işlenir.
Dönüşüm işlemlerinden akış orkestrasyonuna
Bu eğitim, veriyi kaynaktan hedefe taşırken uygulanan dönüşümleri ve bu dönüşümlerin güvenilir bir akış (flow) içinde orkestre edilmesini birlikte ele alır. Dönüşüm tarafında temizleme, tip dönüşümü, birleştirme, toplulaştırma, pivot/unpivot ve türetilmiş alanlar işlenir. Akış tarafında veri akış diyagramı, yönlü asiklik grafik (DAG) ile görev bağımlılıkları, orkestrasyon (Airflow benzeri), zamanlama ve tetikleme ele alınır. Idempotent ve yeniden çalıştırılabilir görevler, artımlı (incremental) akış, geriye dönük işleme (backfill), hata yönetimi ve yeniden deneme, veri kalitesi kontrolleri ve soy kütüğü (lineage) incelenir. dbt benzeri dönüşüm yaklaşımı ve test tanıtılır. Örnekler SQL, Python ve bir orkestrasyon aracı mantığıyla kurgulanır.
3 Gün. Her gün dört modül; kavram anlatımının ardından SQL/Python ve DAG tasarımıyla pratik yapılır.
Orta Seviye — Veri dönüşümü ve akışı: dönüşüm işlemleri, veri akışı tasarımı, orkestrasyon ve DAG ile bağımlılık yönetimi.
SQL ve Python dönüşümleri ile bir orkestrasyon aracı mantığında DAG'lar kurularak akış ve bağımlılık uygulamalı çalışılır.
Veriyi analize hazır biçime doğru dönüşümlerle getirirsiniz.
DAG ile görev bağımlılıklarını güvenilir biçimde yönetirsiniz.
Idempotentlik ve yeniden deneme ile akışı hatalara dayanıklı kurarsınız.
Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri
JOIN, GROUP BY ve alt sorgu mantığına aşinalık gerekir.
pandas ile veri işleme pratiği faydalıdır.
ETL/ELT kavramını bilmek örnekleri kolaylaştırır.
SQL veritabanı, Python ve bir orkestrasyon aracı denenebilen ortam.
Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.
Program sonunda katılımcılar:
Temizleme, birleştirme ve toplulaştırma dönüşümlerini uygularsınız.
Pivot/unpivot ve düzleştirmeyle veriyi hedef yapıya getirirsiniz.
Katmanlı ve modüler bir veri akışı tasarlarsınız.
Görev bağımlılıklarını DAG ile tanımlar ve orkestre edersiniz.
Cron ve olay tabanlı tetiklemeyle akışı zamanlarsınız.
Idempotent görev ve retry ile akışı dayanıklı kurarsınız.
dbt benzeri testlerle akış içinde veri kalitesini güvence altına alırsınız.
Soy kütüğü ve izlemeyle akışı şeffaf ve takip edilebilir kılarsınız.
Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.
Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.
Regex ile örüntü eşleme, spaCy ile varlık tanıma (NER), ilişki ve olay çıkarımıyla serbest metinden yapılandırılmış bilgi elde etmeyi öğrenin.
Detayları Gör →
Volume, Velocity, Variety ve Veracity ile büyük veriyi tanımlayın; Value (değer) ve veri kalitesinin mimari ve karar süreçlerine etkisini kavrayın.
Detayları Gör →
SAS Studio, kütüphaneler (LIBNAME), DATA step ile veri işleme ve PROC PRINT/MEANS/FREQ/SQL ile özet ve rapor üretmeyi uygulamalı öğrenin.
Detayları Gör →
İdari asistanlar için veriyle çalışma eğitimi: tablo düzeni, veri doğrulama, SUMIF/XLOOKUP, pivot rapor, takvim ve belge yönetimi, gizlilik ilkeleri.
Detayları Gör →
Spotfire eğitimi: veri bağlama, Information Link, custom expression ve OVER, IronPython betikleme, TERR ile tahmin/kümeleme ve Spotfire Server'da yayınlama.
Detayları Gör →