Data Lakes on AWS Eğitimi

Eğitim Hakkında

S3 veri gölü, veri alımı, Lake Formation ve Athena/Spectrum sorgulama

Data Lakes on AWS eğitimi, S3 tabanlı kurumsal veri gölünün tasarlanması ve işletilmesi üzerinedir. Raw–curated–analytics katmanları, bölümleme ve dosya formatı seçimi, DMS/DataSync/AppFlow/Firehose ile veri alımı, Glue kataloğu ve crawler, Lake Formation ile tablo-sütun-satır düzeyi yetki, LF-Tag, hesaplar arası paylaşım, Macie, KMS, Athena ve Redshift Spectrum ile sorgulama, küçük dosya sorunu ve maliyet optimizasyonu laboratuvarlarla işlenir.

Süre ve Format

3 Gün. Her gün dört modül; katılımcılar s3 veri gölü, veri alımı, Lake Formation ve Athena/Spectrum sorgulama eksenlerinde aşamalı olarak uygulamalı çalışır.

Seviye

İleri Seviye — AWS üzerinde veri gölü mimarisi, veri alımı, katalog, Lake Formation yönetişimi ve sorgulama.

Öğrenme Metodu

Katılımcılar çok kaynaklı örnek verileri alıp katalogladıkları, Lake Formation ile yetkilendirdikleri ve Athena/Spectrum ile sorguladıkları bir veri gölünü laboratuvarda inşa eder.

Neden Bu Eğitim?

🏞️Gölü Doğru Tasarla

Katmanlı yapı, bölümleme ve format seçimiyle veri bataklığına dönüşmeyen göl kurarsınız.

🔐İnce Taneli Güvenlik

Lake Formation ile sütun ve satır düzeyinde erişim denetimi uygularsınız.

🔄Çok Kaynaklı Alım

Veritabanı, dosya ve SaaS kaynaklarından veri alım hatları oluşturursunuz.

Anahtar Konular

AWS veri gölüBuilding Data Lakes on AWSAWS Lake FormationAmazon S3 data lakeAWS Glue Data CatalogAthenaRedshift Spectrumveri gölü mimarisiAWS veri mühendisliğiAWS data lake eğitimiData Lakes on AWS

“Veri gölü, verinin saklandığı yer değil, güvenle bulunup kullanıldığı yerdir.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

SQL ve Veri

SQL ve temel veri modelleme bilgisi gerekir.

2

AWS Temelleri

S3, IAM ve temel AWS servislerini tanımak beklenir.

3

Veri Mimarisi

Veri ambarı ve ETL kavramlarına aşinalık faydalıdır.

4

Çalışma Ortamı

Laboratuvarlar için eğitimde sağlanan AWS sandbox hesabı ve tarayıcı yeterlidir.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı katmanlı veri gölü mimarisi tasarlar ve farklı kaynaklardan veri alım hatları kurar.

Modül 1

Veri Gölü Mimari Tasarımı

Katmanlı yapı: raw, curated (cleansed) ve analytics (consumption) bölgeleri
S3 prefix ve partition şeması tasarımı
Küçük dosya sorunu ve dosya birleştirme (compaction)
Veri formatı seçimi: CSV, JSON, Avro, Parquet, ORC
Lakehouse yaklaşımı: Iceberg, Hudi, Delta karşılaştırması
Maliyet optimizasyonu: lifecycle, Intelligent-Tiering, sorgu başına tarama

Modül 2

Amazon S3 Nesne Depolama

Bucket, nesne, prefix ve S3 tutarlılık modeli
Storage class: Standard, Intelligent-Tiering, Glacier Instant/Flexible/Deep Archive
Lifecycle kuralları ve versioning ile nesne yaşam döngüsü
Bucket policy, Block Public Access ve S3 Object Ownership
SSE-S3, SSE-KMS ve istemci taraflı şifreleme
Cross-Region Replication, event notification ve presigned URL

Modül 3

Veri Alım Desenleri: DMS, DataSync, AppFlow, Transfer

DMS full load + CDC ile veritabanından göle aktarım
AppFlow ile SaaS kaynaklarından (Salesforce, SAP) veri çekme
Transfer Family ile SFTP/FTPS uç noktası
DataSync ile şirket içi dosya sunucularından alım
Firehose ve Kinesis ile gerçek zamanlı alım
Toplu, mikro-toplu ve akış alımı karşılaştırması

Modül 4

AWS Glue ile ETL ve Veri Kataloğu

Glue Data Catalog, database ve table yapısı
Crawler ile şema çıkarımı ve şema evrimi
Glue ETL işleri: PySpark, DynamicFrame ve job bookmark
Glue Studio ile görsel ETL ve Glue DataBrew
Worker tipleri (G.1X, G.2X), DPU ve maliyet ayarı
Glue workflow, trigger ve Glue Data Quality kuralları

Günün hedefiKatılımcı veri kataloğunu yönetir, ince taneli erişim denetimi uygular ve hesaplar arası güvenli paylaşım kurar.

Modül 1

Lake Formation ile Veri Gölü Güvenliği

Data lake yönetici rolleri ve kayıtlı S3 konumları
Veritabanı, tablo, sütun ve satır düzeyinde yetkilendirme
LF-Tag tabanlı erişim kontrolü (TBAC)
Hesaplar arası veri paylaşımı
Governed table ve Iceberg tabloları ile ACID işlemleri
CloudTrail ile veri erişim denetimi

Modül 2

Veri Gölü Güvenliği ve Hesaplar Arası Paylaşım

Lake Formation izin modeli ve IAM ile birlikte çalışması
S3 Access Points ve bucket policy ile paylaşım
Hesaplar arası tablo paylaşımı ve RAM kullanımı
KMS ile şifreleme ve anahtar paylaşımı
Macie ile hassas veri keşfi ve maskeleme
CloudTrail ve Lake Formation denetim logları

Modül 3

Veri Kalitesi ve Yönetişim

Glue Data Quality ve DQDL kuralları
DataZone ile veri ürünü kataloglama ve yayınlama
Veri soy ağacı (lineage) ve meta veri yönetimi
PII maskeleme, Macie ve sütun düzeyi şifreleme
Veri saklama ve silme politikaları (KVKK/GDPR bakış açısı)
Veri sözleşmeleri ve veri sahipliği modeli

Modül 4

KMS, Secrets Manager ve Veri Koruma

KMS müşteri yönetimli anahtarlar (CMK), key policy ve grant
Envelope encryption ve data key üretimi
Secrets Manager ile otomatik parola rotasyonu
Systems Manager Parameter Store: String ve SecureString
ACM ile TLS sertifikası yönetimi
CloudHSM ve KMS arasındaki kullanım farkları

Günün hedefiKatılımcı göl verisini Athena ve Redshift Spectrum ile sorgular, performansı ve maliyeti optimize eder.

Modül 1

Athena ile Sunucusuz SQL Analizi

Athena motoru (Trino/Presto) ve S3 üzerinde sorgulama
Parquet/ORC sütunlu format, sıkıştırma ve bölümleme (partitioning)
Partition projection ve MSCK REPAIR TABLE
CTAS ve INSERT INTO ile veri dönüşümü
Workgroup, sorgu limiti ve taranan veri bazlı maliyet kontrolü
Federated query ve Apache Iceberg tabloları

Modül 2

Amazon Redshift Veri Ambarı

Redshift mimarisi: leader node, compute node, RA3 ve managed storage
Distribution style (KEY, ALL, EVEN, AUTO) ve sort key seçimi
COPY ve UNLOAD komutlarıyla S3 veri yükleme
Workload Management (WLM), Short Query Acceleration, concurrency scaling
Redshift Spectrum ile S3’teki veriyi sorgulama
Materialized view, VACUUM, ANALYZE ve sıkıştırma kodlaması

Modül 3

Toplu İşleme Performans ve Maliyet Optimizasyonu

Bölümleme ve sütunlu format ile taranan veri azaltma
Glue DPU, EMR Spot ve managed scaling ayarı
Spark shuffle, join stratejileri ve broadcast
Küçük dosya birleştirme ve dosya boyutu hedefi
Athena workgroup ve maliyet kontrolü
İzleme: Spark UI, CloudWatch ve Glue job metrikleri

Modül 4

QuickSight ve OpenSearch ile Görselleştirme

QuickSight SPICE ve doğrudan sorgu modları
Dataset, analysis, dashboard ve hesaplanmış alanlar
Satır düzeyi güvenlik ve gömülü (embedded) analitik
OpenSearch Service domain, index ve shard tasarımı
OpenSearch Dashboards ile log ve metrik analizi
Kinesis Firehose ile OpenSearch’e gerçek zamanlı indeksleme

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

Göl Mimarisi

Katmanlı veri gölü mimarisi ve prefix şeması tasarlarsınız.

🧱

Veri Alımı

DMS, DataSync, AppFlow ve Firehose ile alım hatları kurarsınız.

🔐

Katalog Yönetimi

Glue Data Catalog ve crawler ile şema yönetimi yaparsınız.

⚙️

Lake Formation

Tablo, sütun ve satır düzeyinde izinleri LF-Tag ile yönetirsiniz.

📈

Hesaplar Arası Paylaşım

Veri setlerini hesaplar arasında güvenle paylaşırsınız.

☁️

Sorgulama

Athena ve Redshift Spectrum ile göl verisini sorgularsınız.

🛠️

Format ve Performans

Parquet, bölümleme ve compaction ile performansı artırırsınız.

🚀

Güvenlik ve Maliyet

KMS, Macie ve lifecycle ile veriyi korur, maliyeti düşürürsünüz.

Kimler İçin Uygundur?

Veri mühendisleri
veri mimarları
veri platformu ekipleri
kurumsal veri gölü kuracak BT profesyonelleri için uygundur

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

Veri mühendisleri, veri mimarları, veri platformu ekipleri ve kurumsal veri gölü kuracak BT profesyonelleri için uygundur.

Veri gölü ile veri ambarı farkı işleniyor mu?

Evet, lakehouse yaklaşımı ve Redshift Spectrum ile göl-ambar birlikteliği ele alınır.

Hangi güvenlik konuları var?

Lake Formation yetkilendirmesi, KMS şifreleme, Macie ve hesaplar arası paylaşım uygulanır.

Hangi alım araçları işlenir?

DMS, DataSync, AppFlow, Transfer Family, Kinesis Firehose işlenir.

Sertifika verilir mi?

Katılımcılara Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

DATA LAKES ON AWS EĞİTİMİ

Eğitim Hakkında

Neden Bu Eğitim?

Anahtar Konular

Ön Koşullar

Eğitim İçeriği

Veri Gölü Mimari Tasarımı

Amazon S3 Nesne Depolama

Veri Alım Desenleri: DMS, DataSync, AppFlow, Transfer

AWS Glue ile ETL ve Veri Kataloğu

Lake Formation ile Veri Gölü Güvenliği

Veri Gölü Güvenliği ve Hesaplar Arası Paylaşım

Veri Kalitesi ve Yönetişim

KMS, Secrets Manager ve Veri Koruma

Athena ile Sunucusuz SQL Analizi

Amazon Redshift Veri Ambarı

Toplu İşleme Performans ve Maliyet Optimizasyonu

QuickSight ve OpenSearch ile Görselleştirme

Eğitim Kazanımları

Kimler İçin Uygundur?

Sıkça Sorulan Sorular

Sertifikalandırma

Eğitim Bilgileri

Bu Eğitimle Birlikte Tercih Edilenler

Cloud Operations on AWS (Systems Operations on AWS) Eğitimi

Cloud Operations on AWS Eğitimi

Cloud Operations on AWS JAM Eğitimi

Cloud Value Proposition: Amazon Web Services for Decision Makers Eğitimi

Compute and Storage APIs on AWS Eğitimi