AWS veri hatlarını kalite ve güvenle izle
AWS veri hatlarında veri gözlemlenebilirliğini ve güvenilirliğini; Glue Data Quality, CloudWatch izleme, şema yönetimi, dayanıklı ETL ve Lake Formation yönetişimini öğreten orta seviye eğitim.
Glue, veri kalitesi, CloudWatch ve veri hattı güvenilirliği
Bu orta seviye eğitim, AWS Data Engineer Associate (DEA-C01) bakış açısıyla veri hatlarının gözlemlenebilirliği ve güvenilirliğini ele alır. Veri gözlemlenebilirliğin beş boyutu (tazelik, hacim, şema, dağılım, soy/lineage); AWS Glue Data Quality kuralları (DQDL), Deequ ile doğrulama; CloudWatch metrik, log ve alarm ile Glue/EMR/Step Functions izleme; S3 olayları ve EventBridge ile hata yönetimi; Glue job bookmark, retry ve DLQ; Lake Formation ile veri yönetişimi ve erişim; Athena/Redshift sorgu performansı ve izleme; veri soyu için Glue Data Catalog ve kalite panosu işlenir. Katılımcı bir ETL hattında kalite kuralları ve alarmlar kurar.
3 Gün. Her gün dört modül; katılımcılar veri gözlemlenebilirlik kavramından Glue kalite kuralları ve hat güvenilirliğine ilerler.
Orta Seviye — AWS veri hatlarında veri gözlemlenebilirliği, kalite ve güvenilirlik (DEA-C01 bakış açısı).
Katılımcılar gerçek bir AWS hesabında Glue ETL hattına kalite kuralları, CloudWatch alarmı ve yeniden deneme mekanizması kurar.
Glue Data Quality ve DQDL ile hatalı veriyi üretime ulaşmadan yakalarsınız.
Glue Catalog ile veri soyunu ve etkiyi uçtan uca izlersiniz.
Retry, DLQ ve bookmark ile veri hattını kayıpsız güvenilir kılarsınız.
Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri
S3, IAM ve temel AWS hizmetleri bilgisi beklenir.
SQL ve ETL kavramlarına aşinalık gerekir.
Glue ve CloudWatch yetkili bir AWS hesabı gerekir.
PySpark/boto3 için temel Python faydalıdır.
Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.
Program sonunda katılımcılar:
Veri gözlemlenebilirlik boyutlarını AWS servisleriyle eşlersiniz.
Glue/EMR hatları için metrik, log ve alarm kurarsınız.
Glue Data Quality ile kalite kuralları yazarsınız.
Schema registry ve drift tespiti uygularsınız.
Bookmark, retry ve DLQ ile hattı kayıpsız kurarsınız.
Step Functions ve EventBridge ile hattı izlersiniz.
Glue Catalog ile sütun düzeyi soyu izlersiniz.
Lake Formation ile erişim ve PII kontrolü uygularsınız.
Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.
Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.
Google Cloud Operations Suite: Cloud Logging, Log sink, Monitoring, MQL, uyarı politikaları, SLO, Cloud Trace ve Profiler uygulamalı eğitimi.
Detayları Gör →
Professional Cloud Architect bakışıyla Google Cloud gözlem mimarisi: metrics scope, merkezi log, CMEK, SLO, burn rate alarmı ve maliyet yönetimi.
Detayları Gör →
Grafana ile izleme: Docker kurulumu, Prometheus veri kaynağı, panel türleri, değişkenler, Node Exporter panosu ve alarm kuralları eğitimi.
Detayları Gör →
Grafana temelleri: mimari, veri kaynağı, Explore, panel türleri, pano yapısı, değişkenler, kullanıcı yönetimi ve alarm temelleri uygulamalı eğitimi.
Detayları Gör →
Grafana ve Prometheus ile etkili pano tasarımı: USE/RED yöntemleri, PromQL sorguları, histogram_quantile, değişkenler ve Kubernetes panoları.
Detayları Gör →