Veri mühendisliği yaşam döngüsünü baştan kurun
Veri üretimi, ingest, depolama, modelleme, ETL/ELT dönüşüm, orkestrasyon ve veri kalitesiyle veri mühendisliği yaşam döngüsünü uçtan uca öğreten temel seviye eğitim.
Veri mühendisliği yaşam döngüsü ve temel yapı taşları
Bu eğitim, veri mühendisliğinin yaşam döngüsünü uçtan uca öğretir. Veri üretimi (source system), ingest (batch vs streaming), depolama (data lake, data warehouse, object storage), dönüşüm (ETL/ELT) ve servis (BI, ML, analitik) aşamaları ele alınır. Dosya formatları (CSV, Parquet, Avro, ORC), satır/kolon depolama, şema yönetimi ve veri modelleme (normalizasyon, boyutsal model) işlenir. Batch ve stream işleme farkları, idempotency, CDC, orkestrasyon (Airflow), veri kalitesi, yönetişim ve maliyet temelleri gösterilir. Modern veri yığını (cloud warehouse, dbt) kavramsal olarak tanıtılır.
3 Gün. Her gün dört modül; kavram + mini uygulamalarla veri yaşam döngüsünü kurma lableri.
Temel Seviye — Veri mühendisliği yaşam döngüsü: üretim, ingest, depolama, dönüşüm ve servis katmanlarını kapsar.
Örnek bir veri hattını kaynak sistemden servise kadar aşama aşama tasarlayıp parçalarını uygulayarak öğretilir.
Veri yaşam döngüsünün tüm aşamalarını ve birbirine nasıl bağlandığını kavrarsınız.
Depolama, format ve modelleme kararlarını bilinçli vermeyi öğrenirsiniz.
Hangi işin batch, hangisinin stream ile çözüleceğini ayırt edersiniz.
Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri
Temel SELECT/JOIN düzeyinde SQL bilgisi faydalıdır.
Betik düzeyinde temel Python beklenir.
Komut satırı ve dosya sistemine aşinalık gerekir.
Tablo, satır ve veri tipi kavramlarına temel aşinalık beklenir.
Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.
Program sonunda katılımcılar:
Veri mühendisliğinin tüm aşamalarını uçtan uca açıklarsınız.
Batch, streaming ve CDC yaklaşımlarını doğru senaryoya eşlersiniz.
Lake, warehouse ve lakehouse arasında bilinçli seçim yaparsınız.
Parquet/Avro/ORC ve satır/kolon depolamayı doğru kullanırsınız.
İlişkisel ve boyutsal (star) modelleri tasarlarsınız.
Staging ve katmanlı dönüşüm hatlarını kurgularsınız.
DAG tabanlı hatları zamanlar ve güvenilir kılarsınız.
Veri kalitesini ölçer ve veriyi BI/ML'e servis edersiniz.
Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.
Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.
Snowflake hesap organizasyonu, RBAC rol hiyerarşisi, resource monitor, maliyet izleme ve ACCOUNT_USAGE ile kaynak yönetimi eğitimi.
Detayları Gör →
Snowflake zero-copy cloning, Secure Data Sharing, reader account ve Marketplace ile veriyi kopyalamadan klonlama ve güvenli paylaşım eğitimi.
Detayları Gör →
Snowflake Time Travel, Fail-safe, UNDROP, zero-copy clone ile kurtarma ve veritabanı replikasyonu/failover ile sürekli veri koruma eğitimi.
Detayları Gör →
Snowflake stage türleri, file format, COPY INTO, hata yönetimi, VARIANT ve Snowpipe ile toplu ve sürekli veri yükleme eğitimi.
Detayları Gör →
Snowflake Streams, Tasks, Dynamic Tables ve Snowpipe ile CDC, görev zinciri ve bildirimsel dönüşümle sürekli veri pipeline kurma eğitimi.
Detayları Gör →