Bulut veri hatlarınızı sistematik test edin
Bu eğitim, AWS Glue, Azure Data Factory ve benzeri bulut ETL hatlarında test stratejisi ve otomasyonunu anlatır. DVA'da 2 gün süren, Türkçe ve laboratuvar destekli bir programdır.
Bulutta veri doğruluğu, tamlığı ve hat güvenilirliğinin doğrulanması
Bu eğitim, AWS Glue, Azure Data Factory ve benzeri bulut ETL hatlarında test stratejisi ve otomasyonunu anlatır. Veri tamlığı, doğruluğu, tekrar kayıt ve referans bütünlüğü kontrolleri, kaynak-hedef uzlaştırma SQL'leri, Great Expectations ve dbt test ile veri kalitesi kuralları, şema evrimi testi, artımlı yükleme ve CDC doğrulaması, performans ve ölçek testi, test verisi üretimi ve CI/CD'ye entegrasyon uygulamalı işlenir.
2 Gün. Her gün dört modül; Test Stratejisi ve Doğrulama ile başlar, Bulut Hatlarında Otomasyon ile tamamlanır; her modül kısa anlatım ve laboratuvar uygulamasıyla ilerler.
İleri Seviye — Bulut tabanlı ETL ve veri hatlarında veri kalitesi, uyumluluk ve otomatik test stratejileri.
Katılımcılar örnek bir bulut ETL hattı için test planı yazar, SQL ve Python ile otomatik testleri geliştirir ve bunları CI hattında çalıştırır.
Raporlara ulaşmadan hatalı veriyi yakalayan otomatik kontroller kurarsınız.
Glue, ADF ve Redshift/Snowflake hatlarına özgü test noktalarını öğrenirsiniz.
Veri testlerini her dağıtımda çalışan otomatik hatta bağlarsınız.
Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri
Gelişmiş SQL ve temel ETL/veri ambarı kavramları beklenir; Python bilgisi yararlıdır.
Laboratuvarlar için ücretsiz katman veya eğitmenin yönlendirdiği bir AWS hesabı kullanılır; ücretli kaynaklar önceden belirtilir.
IaaS, PaaS, SaaS ayrımı ve paylaşılan sorumluluk modeli hakkında genel bilgi yeterlidir.
AWS Management Console'da gezinme ve temel komut satırı kullanımı rahatça yapılabilmelidir.
Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.
Program sonunda katılımcılar:
ETL Test Planı kapsamında ETL test seviyeleri: kaynak, dönüşüm, hedef ve gereksinim izlenebilirliği çalışmalarını laboratuvarda uygulayabilir hale geleceksiniz.
Kaynak-Hedef Uzlaştırma kapsamında satır sayısı ve toplam kontrolü ve MINUS / EXCEPT ile fark analizi çalışmalarını laboratuvarda uygulayabilir hale geleceksiniz.
Dönüşüm ve İş Kuralı Testi kapsamında dönüşüm mantığının SQL ile yeniden hesaplanması ve SCD Type 1 ve 2 testi çalışmalarını laboratuvarda uygulayabilir hale geleceksiniz.
Test Verisi Yönetimi kapsamında sentetik veri üretimi (Faker) ve test ortamı yenileme çalışmalarını laboratuvarda uygulayabilir hale geleceksiniz.
Bulut ETL Hatlarının Testi kapsamında AWS Glue job ve bookmark testi ve artımlı yükleme ve CDC doğrulaması çalışmalarını laboratuvarda uygulayabilir hale geleceksiniz.
Veri Kalitesi Araçları kapsamında great Expectations beklenti paketleri ve soda ve Deequ çalışmalarını laboratuvarda uygulayabilir hale geleceksiniz.
Performans ve Ölçek Testi kapsamında yük hacmi senaryoları ve partition ve dosya boyutu etkisi çalışmalarını laboratuvarda uygulayabilir hale geleceksiniz.
CI/CD ve Raporlama kapsamında pytest ile veri testi otomasyonu ve test ortamı otomasyonu (IaC) çalışmalarını laboratuvarda uygulayabilir hale geleceksiniz.
Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.
Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.
Amazon Pinpoint eğitimi: segment, kampanya, journey, e-posta ve SMS gönderimi ve analitik. 2 günlük uygulamalı program ve DVA Katılım ve Başarı Sertifikası.
Detayları Gör →
Amazon QuickSight eğitimi: veri kaynakları, SPICE, analiz, dashboard ve satır düzeyi güvenlik. 2 günlük uygulamalı program ve DVA Katılım ve Başarı Sertifikası.
Detayları Gör →
Amazon Route 53 Resolver eğitimi: endpoint'ler, forwarding rule, DNS Firewall ve sorgu logları. 2 günlük uygulamalı program ve DVA Katılım ve Başarı Sertifikası
Detayları Gör →
Amazon SNS eğitimi: topic, abonelik, mesaj filtreleme, FIFO topic ve fan-out mimarisi. 2 günlük uygulamalı program ve DVA Katılım ve Başarı Sertifikası.
Detayları Gör →
Amazon SQS eğitimi: standard ve FIFO kuyruk, visibility timeout, DLQ, long polling ve ölçekleme. 2 günlük uygulamalı program ve DVA Katılım ve Başarı Sertifikas
Detayları Gör →