Build Batch Data Pipelines on Google Cloud Eğitimi

Eğitim Hakkında

Batch pipeline tasarımını (Dataflow, Dataproc, Data Fusion, Composer ve kalite kontrolleri) uygulamalı biçimde ele alan program

Build Batch Data Pipelines on Google Cloud eğitimi; batch pipeline tasarımını (Dataflow, Dataproc, Data Fusion, Composer ve kalite kontrolleri) laboratuvar çalışmalarıyla ele alır. Program 3 günde şu başlıklarla ilerler: Veri Gölü ve Ambarı Mimarisi; Batch Veri Hatları: Dataflow, Dataproc ve Data Fusion; Veri Kalitesi, Yönetişim ve ML Hatları. Her modülde komut, yapılandırma ve sorun giderme adımları uygulanır.

Süre ve Format

3 Gün. Her gün dört modül; günlük akış: Veri Gölü ve Ambarı Mimarisi → Batch Veri Hatları: Dataflow, Dataproc ve Data Fusion → Veri Kalitesi, Yönetişim ve ML Hatları.

Seviye

Orta Seviye — Cloud Storage, BigQuery, Dataproc ve veri modelleme; ETL/ELT, Beam, Spark ve Composer orkestrasyonu; Dataplex, Dataform, BQML ve Vertex AI entegrasyonu

Öğrenme Metodu

Her gün Qwiklabs benzeri proje ortamında gerçek veri setleriyle pipeline kurulur: Pub/Sub, Dataflow, Dataproc ve BigQuery ile çalışan uçtan uca hatlar oluşturulur ve izlenir.

Neden Bu Eğitim?

🛠️Uçtan Uca Pipeline

Ingestion'dan analize kadar batch ve streaming hatları aynı katalogda tasarlarsınız.

⚖️Doğru Araç Seçimi

Dataflow, Dataproc, Data Fusion ve BigQuery SQL arasında gerekçeli seçim yaparsınız.

🔒Kalite ve Yönetişim

Veri kalitesi, lineage ve erişim kontrolünü hattın parçası olarak tasarlarsınız.

Anahtar Konular

build batch data pipelines on google cloud eğitimigoogle cloud veri mühendisliğidata engineering on google clouddataflowdataprocpub/subapache beamcloud composergcp veri hattıbigquery veri ambarıveri gölü

“Güvenilir veri hattı, en gösterişli modelden daha değerli bir varlıktır.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

SQL Bilgisi

Orta düzeyde SQL yazabilmek gerekir.

2

Programlama

Python veya Java'da temel kodlama bilgisi faydalıdır.

3

Veri Kavramları

ETL, veri ambarı ve dosya formatlarına aşinalık beklenir.

4

Lab Ortamı

Google Cloud hesabı ve eğitimde sağlanan proje gerekir.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı Google Cloud üzerinde veri gölü ile veri ambarını birlikte tasarlar ve yük için doğru depolama katmanını seçer.

Modül 1

Veri Mühendisliği Rolü ve Mimari

Veri mühendisinin sorumlulukları ve veri yaşam döngüsü
Veri gölü, veri ambarı ve lakehouse karşılaştırması
Medallion (bronze/silver/gold) katman düzeni
Batch ve streaming mimari desenleri (Lambda/Kappa)
Kaynak sistemler ve ingestion seçenekleri
Hizmet seçimi: depolama, işleme, analiz

Modül 2

Veri Gölü: Cloud Storage

Bucket tasarımı, klasör düzeni ve nesne adlandırma
Depolama sınıfları ve lifecycle kuralları
Parquet, Avro ve ORC format seçimi
IAM, uniform bucket-level access ve imzalı URL
Transfer Service ve Storage Transfer ile veri taşıma
Dataplex lake, zone ve asset yapısı

Modül 3

Veri Ambarı: BigQuery

Dimensional model: yıldız ve kar tanesi şema
Partition, clustering ve denormalizasyon
Staging ve production dataset ayrımı
ELT yaklaşımıyla dönüşüm
Kalite kontrolleri ve veri doğrulama
Veri paylaşımı ve Analytics Hub

Modül 4

Hadoop/Spark Ekosistemi: Dataproc

Dataproc cluster tipleri ve ephemeral cluster yaklaşımı
Cloud Storage connector ve HDFS'den geçiş
Autoscaling policy ve preemptible worker
Dataproc Serverless for Spark
Initialization action ve optional component
Workflow template ile iş zincirleme

Günün hedefiKatılımcı batch veri hatlarını Dataflow, Dataproc ve Data Fusion ile kurar, Cloud Composer ile zamanlayıp izler.

Modül 1

Batch Pipeline Tasarımı

EL, ELT ve ETL yaklaşımlarının seçim kriterleri
Batch pipeline kalite ve idempotentlik ilkeleri
Şema yönetimi ve veri sözleşmeleri
Hata işleme, dead-letter ve yeniden çalıştırma
Hizmet seçimi: Dataflow, Dataproc veya BigQuery SQL
Maliyet bilinçli pipeline tasarımı

Modül 2

Apache Beam ve Dataflow

PCollection, PTransform ve Pipeline soyutlaması
ParDo, GroupByKey, Combine ve yan girdiler (side input)
Python ve Java Beam SDK
Flex Template ve Classic Template
Dataflow Shuffle, FlexRS ve otomatik ölçekleme
Dataflow monitoring arayüzü ve job graph

Modül 3

Spark ve Data Fusion

Spark job'ını Dataproc'ta çalıştırma (gcloud dataproc jobs submit)
Spark SQL ve BigQuery connector
Data Fusion: Studio, pipeline ve plugin
Wrangler ile veri hazırlama
Replication ile veri çoğaltma
Instance edition ve Dataproc profili

Modül 4

Orkestrasyon: Cloud Composer

Airflow DAG, task ve operator kavramları
Composer 2 ortam yapısı ve ölçekleme
Dataflow, Dataproc ve BigQuery operatörleri
Sensör, retry ve SLA tanımı
Cron zamanlama ve backfill
Alternatif: Workflows ve Cloud Scheduler

Günün hedefiKatılımcı veri kalitesini otomatik kurallarla denetler ve veri hattını makine öğrenmesi iş akışına bağlar.

Modül 1

Veri Kalitesi ve Yönetişim

Dataplex otomatik veri kalitesi görevleri
Veri profili çıkarma ve anomali tespiti
Data lineage görselleştirme
Policy tag ve kolon düzeyi erişim
Metadata yönetimi ve iş sözlüğü
KVKK kapsamında kişisel veri maskeleme

Modül 2

SQL Tabanlı Dönüşüm: Dataform

SQLX dosyaları ve bağımlılık grafiği
Incremental tablo ve assertion
Git bağlantısı ve workflow zamanlama
Ortam ayrımı (dev/prod) ve release configuration
Unit test ve veri kalitesi assertion'ları
Dataform ve Composer entegrasyonu

Modül 3

Veri Hattında ML

BigQuery ML ile model eğitimi
Vertex AI Pipelines ve Feature Store
Kubeflow / TFX bileşenlerine genel bakış
Model servisleme: batch ve online prediction
Model izleme ve veri kayması (drift)
MLOps için CI/CD yaklaşımı

Modül 4

Üretime Alma ve Güvence

CI/CD ile pipeline dağıtımı (Cloud Build)
Terraform ile veri altyapısının kodlanması
Test stratejisi: birim, entegrasyon, veri testleri
Gözlemlenebilirlik: log, metrik, alarm
Maliyet optimizasyonu: slot, worker, depolama
Sınav/portfolyo için uçtan uca referans proje

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

Mimari Tasarım

Veri gölü ve ambarı mimarisini ihtiyaca göre tasarlayabilirsiniz.

📦

Batch Pipeline

Dataflow ve Dataproc ile batch hatları kurabilirsiniz.

🌊

Streaming Pipeline

Pub/Sub ve Dataflow ile pencereli akış işleme yapabilirsiniz.

🗄️

Hedef Seçimi

BigQuery ve Bigtable arasında doğru hedefi seçebilirsiniz.

🎛️

Orkestrasyon

Cloud Composer ile iş akışı zamanlayıp izleyebilirsiniz.

✔️

Veri Kalitesi

Dataplex ve Dataform ile kalite kontrollerini otomatikleştirebilirsiniz.

🤖

ML Entegrasyonu

BigQuery ML ve Vertex AI ile hattı ML'e bağlayabilirsiniz.

📈

İşletim

Pipeline metrikleri, alarm ve maliyetini yönetebilirsiniz.

Kimler İçin Uygundur?

Batch ETL/ELT hatları geliştiren veri mühendisleri
veri platformu ekipleri için uygundur

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

Batch ETL/ELT hatları geliştiren veri mühendisleri ve veri platformu ekipleri için uygundur.

Build Batch Data Pipelines on Google Cloud eğitimi kaç gün sürer ve nasıl işlenir?

Program 3 gündür; her gün dört modül ve modül başına altı konu işlenir. Her gün Qwiklabs benzeri proje ortamında gerçek veri setleriyle pipeline kurulur: Pub/Sub, Dataflow, Dataproc ve BigQuery ile çalışan uçtan uca hatlar oluşturulur ve izlenir.

Eğitime katılmak için ön bilgi gerekir mi?

Orta düzeyde SQL yazabilmek gerekir. Python veya Java'da temel kodlama bilgisi faydalıdır. Google Cloud hesabı ve eğitimde sağlanan proje gerekir.

Eğitimde hangi konular işlenir?

Günlük ana başlıklar: Veri Gölü ve Ambarı Mimarisi; Batch Veri Hatları: Dataflow, Dataproc ve Data Fusion; Veri Kalitesi, Yönetişim ve ML Hatları.

Eğitim sonunda sertifika verilir mi?

Katılımcılara Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir; bu belge DVA'nın katılım ve başarı belgesidir, üçüncü taraf bir sınavın yerine geçmez.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

BUILD BATCH DATA PIPELINES ON GOOGLE CLOUD EĞİTİMİ

Eğitim Hakkında

Neden Bu Eğitim?

Anahtar Konular

Ön Koşullar

Eğitim İçeriği

Veri Mühendisliği Rolü ve Mimari

Veri Gölü: Cloud Storage

Veri Ambarı: BigQuery

Hadoop/Spark Ekosistemi: Dataproc

Batch Pipeline Tasarımı

Apache Beam ve Dataflow

Spark ve Data Fusion

Orkestrasyon: Cloud Composer

Veri Kalitesi ve Yönetişim

SQL Tabanlı Dönüşüm: Dataform

Veri Hattında ML

Üretime Alma ve Güvence

Eğitim Kazanımları

Kimler İçin Uygundur?

Sıkça Sorulan Sorular

Sertifikalandırma

Eğitim Bilgileri

Bu Eğitimle Birlikte Tercih Edilenler

Data Warehousing w/ BigQuery: Storage Design, Query Optimization, Administration (GC-DWB-SQA) Eğitimi

Data Warehousing with BigQuery Eğitimi

Data Warehousing with BigQuery: Storage Design, Query Optimization, and Administration (DWBQ-SDQA) Eğitimi

Data Warehousing with BigQuery: Storage Design, Query Optimization, and Administration Eğitimi

Deeper through GCP Analytics & Scaling Eğitimi