Data Engineering on Google Cloud Eğitimi

Eğitim Hakkında

Google Cloud veri mühendisliği yaşam döngüsünü (mimari, batch, streaming, kalite, ML) uygulamalı biçimde ele alan program

Data Engineering on Google Cloud eğitimi; Google Cloud veri mühendisliği yaşam döngüsünü (mimari, batch, streaming, kalite, ML) laboratuvar çalışmalarıyla ele alır. Program 4 günde şu başlıklarla ilerler: Veri Gölü ve Ambarı Mimarisi; Batch Veri Hatları: Dataflow, Dataproc ve Data Fusion; Streaming Veri Hatları: Pub/Sub, Dataflow ve Bigtable; Veri Kalitesi, Yönetişim ve ML Hatları. Her modülde komut, yapılandırma ve sorun giderme adımları uygulanır.

Süre ve Format

4 Gün. Her gün dört modül; günlük akış: Veri Gölü ve Ambarı Mimarisi → Batch Veri Hatları: Dataflow, Dataproc ve Data Fusion → Streaming Veri Hatları: Pub/Sub, Dataflow ve Bigtable → Veri Kalitesi, Yönetişim ve ML Hatları.

Seviye

İleri Seviye — Cloud Storage, BigQuery, Dataproc ve veri modelleme; ETL/ELT, Beam, Spark ve Composer orkestrasyonu; Gerçek zamanlı ingestion, pencereleme ve düşük gecikmeli depolama; Dataplex, Dataform, BQML ve Vertex AI entegrasyonu

Öğrenme Metodu

Her gün Qwiklabs benzeri proje ortamında gerçek veri setleriyle pipeline kurulur: Pub/Sub, Dataflow, Dataproc ve BigQuery ile çalışan uçtan uca hatlar oluşturulur ve izlenir.

Neden Bu Eğitim?

🛠️Uçtan Uca Pipeline

Ingestion'dan analize kadar batch ve streaming hatları aynı katalogda tasarlarsınız.

⚖️Doğru Araç Seçimi

Dataflow, Dataproc, Data Fusion ve BigQuery SQL arasında gerekçeli seçim yaparsınız.

🔒Kalite ve Yönetişim

Veri kalitesi, lineage ve erişim kontrolünü hattın parçası olarak tasarlarsınız.

Anahtar Konular

data engineering on google cloud eğitimigoogle cloud veri mühendisliğidata engineering on google clouddataflowdataprocpub/subapache beamcloud composergcp veri hattıbigquery veri ambarıveri gölü

“Güvenilir veri hattı, en gösterişli modelden daha değerli bir varlıktır.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

SQL Bilgisi

Orta düzeyde SQL yazabilmek gerekir.

2

Programlama

Python veya Java'da temel kodlama bilgisi faydalıdır.

3

Veri Kavramları

ETL, veri ambarı ve dosya formatlarına aşinalık beklenir.

4

Lab Ortamı

Google Cloud hesabı ve eğitimde sağlanan proje gerekir.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı Google Cloud üzerinde veri gölü ile veri ambarını birlikte tasarlar ve yük için doğru depolama katmanını seçer.

Modül 1

Veri Mühendisliği Rolü ve Mimari

Veri mühendisinin sorumlulukları ve veri yaşam döngüsü
Veri gölü, veri ambarı ve lakehouse karşılaştırması
Medallion (bronze/silver/gold) katman düzeni
Batch ve streaming mimari desenleri (Lambda/Kappa)
Kaynak sistemler ve ingestion seçenekleri
Hizmet seçimi: depolama, işleme, analiz

Modül 2

Veri Gölü: Cloud Storage

Bucket tasarımı, klasör düzeni ve nesne adlandırma
Depolama sınıfları ve lifecycle kuralları
Parquet, Avro ve ORC format seçimi
IAM, uniform bucket-level access ve imzalı URL
Transfer Service ve Storage Transfer ile veri taşıma
Dataplex lake, zone ve asset yapısı

Modül 3

Veri Ambarı: BigQuery

Dimensional model: yıldız ve kar tanesi şema
Partition, clustering ve denormalizasyon
Staging ve production dataset ayrımı
ELT yaklaşımıyla dönüşüm
Kalite kontrolleri ve veri doğrulama
Veri paylaşımı ve Analytics Hub

Modül 4

Hadoop/Spark Ekosistemi: Dataproc

Dataproc cluster tipleri ve ephemeral cluster yaklaşımı
Cloud Storage connector ve HDFS'den geçiş
Autoscaling policy ve preemptible worker
Dataproc Serverless for Spark
Initialization action ve optional component
Workflow template ile iş zincirleme

Günün hedefiKatılımcı batch veri hatlarını Dataflow, Dataproc ve Data Fusion ile kurar, Cloud Composer ile zamanlayıp izler.

Modül 1

Batch Pipeline Tasarımı

EL, ELT ve ETL yaklaşımlarının seçim kriterleri
Batch pipeline kalite ve idempotentlik ilkeleri
Şema yönetimi ve veri sözleşmeleri
Hata işleme, dead-letter ve yeniden çalıştırma
Hizmet seçimi: Dataflow, Dataproc veya BigQuery SQL
Maliyet bilinçli pipeline tasarımı

Modül 2

Apache Beam ve Dataflow

PCollection, PTransform ve Pipeline soyutlaması
ParDo, GroupByKey, Combine ve yan girdiler (side input)
Python ve Java Beam SDK
Flex Template ve Classic Template
Dataflow Shuffle, FlexRS ve otomatik ölçekleme
Dataflow monitoring arayüzü ve job graph

Modül 3

Spark ve Data Fusion

Spark job'ını Dataproc'ta çalıştırma (gcloud dataproc jobs submit)
Spark SQL ve BigQuery connector
Data Fusion: Studio, pipeline ve plugin
Wrangler ile veri hazırlama
Replication ile veri çoğaltma
Instance edition ve Dataproc profili

Modül 4

Orkestrasyon: Cloud Composer

Airflow DAG, task ve operator kavramları
Composer 2 ortam yapısı ve ölçekleme
Dataflow, Dataproc ve BigQuery operatörleri
Sensör, retry ve SLA tanımı
Cron zamanlama ve backfill
Alternatif: Workflows ve Cloud Scheduler

Günün hedefiKatılımcı olay verisini Pub/Sub ile alır, Dataflow ile pencereleyerek işler ve BigQuery ya da Bigtable'a yazar.

Modül 1

Pub/Sub ile Olay Alımı

Topic, subscription (pull/push) ve ack deadline
At-least-once teslimat ve tekilleştirme
Message ordering ve ordering key
Dead-letter topic ve retry politikası
Schema ve BigQuery subscription
Snapshot ve seek ile olay yeniden oynatma

Modül 2

Streaming Dataflow

Event time, processing time ve watermark
Fixed, sliding ve session pencereleri
Trigger ve accumulation modu
Geç gelen veri (late data) ve allowed lateness
Stateful DoFn ve timer
Exactly-once ve Streaming Engine

Modül 3

Streaming Hedefleri

BigQuery Storage Write API ile akış yazımı
Bigtable satır anahtarı (row key) tasarımı
Bigtable cluster, replikasyon ve app profile
Hotspotting'in önlenmesi
Cloud Storage'a pencereli yazım
Streaming + batch birleştirme (reprocessing)

Modül 4

Streaming İşletimi

Pipeline lag ve system latency metrikleri
Autoscaling ve backlog yönetimi
Dataflow drain, update ve cancel farkı
Alert tanımı: backlog, hata oranı
Şema değişimi ve pipeline güncelleme
Maliyet izleme ve kaynak boyutlandırma

Günün hedefiKatılımcı veri kalitesini otomatik kurallarla denetler ve veri hattını makine öğrenmesi iş akışına bağlar.

Modül 1

Veri Kalitesi ve Yönetişim

Dataplex otomatik veri kalitesi görevleri
Veri profili çıkarma ve anomali tespiti
Data lineage görselleştirme
Policy tag ve kolon düzeyi erişim
Metadata yönetimi ve iş sözlüğü
KVKK kapsamında kişisel veri maskeleme

Modül 2

SQL Tabanlı Dönüşüm: Dataform

SQLX dosyaları ve bağımlılık grafiği
Incremental tablo ve assertion
Git bağlantısı ve workflow zamanlama
Ortam ayrımı (dev/prod) ve release configuration
Unit test ve veri kalitesi assertion'ları
Dataform ve Composer entegrasyonu

Modül 3

Veri Hattında ML

BigQuery ML ile model eğitimi
Vertex AI Pipelines ve Feature Store
Kubeflow / TFX bileşenlerine genel bakış
Model servisleme: batch ve online prediction
Model izleme ve veri kayması (drift)
MLOps için CI/CD yaklaşımı

Modül 4

Üretime Alma ve Güvence

CI/CD ile pipeline dağıtımı (Cloud Build)
Terraform ile veri altyapısının kodlanması
Test stratejisi: birim, entegrasyon, veri testleri
Gözlemlenebilirlik: log, metrik, alarm
Maliyet optimizasyonu: slot, worker, depolama
Sınav/portfolyo için uçtan uca referans proje

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

Mimari Tasarım

Veri gölü ve ambarı mimarisini ihtiyaca göre tasarlayabilirsiniz.

📦

Batch Pipeline

Dataflow ve Dataproc ile batch hatları kurabilirsiniz.

🌊

Streaming Pipeline

Pub/Sub ve Dataflow ile pencereli akış işleme yapabilirsiniz.

🗄️

Hedef Seçimi

BigQuery ve Bigtable arasında doğru hedefi seçebilirsiniz.

🎛️

Orkestrasyon

Cloud Composer ile iş akışı zamanlayıp izleyebilirsiniz.

✔️

Veri Kalitesi

Dataplex ve Dataform ile kalite kontrollerini otomatikleştirebilirsiniz.

🤖

ML Entegrasyonu

BigQuery ML ve Vertex AI ile hattı ML'e bağlayabilirsiniz.

📈

İşletim

Pipeline metrikleri, alarm ve maliyetini yönetebilirsiniz.

Kimler İçin Uygundur?

Veri mühendisliğini Google Cloud üzerinde yapan veya bu role geçen yazılımcılar
analistler için uygundur

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

Veri mühendisliğini Google Cloud üzerinde yapan veya bu role geçen yazılımcılar ve analistler için uygundur.

Data Engineering on Google Cloud eğitimi kaç gün sürer ve nasıl işlenir?

Program 4 gündür; her gün dört modül ve modül başına altı konu işlenir. Her gün Qwiklabs benzeri proje ortamında gerçek veri setleriyle pipeline kurulur: Pub/Sub, Dataflow, Dataproc ve BigQuery ile çalışan uçtan uca hatlar oluşturulur ve izlenir.

Eğitime katılmak için ön bilgi gerekir mi?

Orta düzeyde SQL yazabilmek gerekir. Python veya Java'da temel kodlama bilgisi faydalıdır. Google Cloud hesabı ve eğitimde sağlanan proje gerekir.

Eğitimde hangi konular işlenir?

Günlük ana başlıklar: Veri Gölü ve Ambarı Mimarisi; Batch Veri Hatları: Dataflow, Dataproc ve Data Fusion; Streaming Veri Hatları: Pub/Sub, Dataflow ve Bigtable; Veri Kalitesi, Yönetişim ve ML Hatları.

Eğitim sonunda sertifika verilir mi?

Katılımcılara Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir; bu belge DVA'nın katılım ve başarı belgesidir, üçüncü taraf bir sınavın yerine geçmez.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

DATA ENGINEERING ON GOOGLE CLOUD EĞİTİMİ

Eğitim Hakkında

Neden Bu Eğitim?

Anahtar Konular

Ön Koşullar

Eğitim İçeriği

Veri Mühendisliği Rolü ve Mimari

Veri Gölü: Cloud Storage

Veri Ambarı: BigQuery

Hadoop/Spark Ekosistemi: Dataproc

Batch Pipeline Tasarımı

Apache Beam ve Dataflow

Spark ve Data Fusion

Orkestrasyon: Cloud Composer

Pub/Sub ile Olay Alımı

Streaming Dataflow

Streaming Hedefleri

Streaming İşletimi

Veri Kalitesi ve Yönetişim

SQL Tabanlı Dönüşüm: Dataform

Veri Hattında ML

Üretime Alma ve Güvence

Eğitim Kazanımları

Kimler İçin Uygundur?

Sıkça Sorulan Sorular

Sertifikalandırma

Eğitim Bilgileri

Bu Eğitimle Birlikte Tercih Edilenler

Google Professional Cloud Developer: Deploying Google Cloud Functions Eğitimi

Google Professional Cloud Developer: Google Cloud Application Modernization Eğitimi

Google Professional Cloud Developer: Google Cloud Application Testing Eğitimi

Google Professional Cloud Developer: Google Cloud Compute Services Eğitimi

Google Professional Cloud Developer: Google Cloud Data & Storage Services Eğitimi