GCP Data Engineer Pro: Creating a Pipeline of Services

Eğitim Hakkında

Pub/Sub, Dataflow ve Cloud Composer ekseninde uygulamalı Google Cloud eğitimi

Google Cloud servislerini birbirine bağlayarak veri pipeline'ı kurmayı öğretir. Cloud Storage ve Pub/Sub ile ingest, Cloud Functions tetikleyicileri, Beam/Dataflow, Dataproc ve Data Fusion ile işleme, Cloud Composer ile orkestrasyon, BigQuery'ye yükleme, streaming desenleri, IAM ve izleme uygulamalı işlenir.

Süre ve Format

3 Gün. Her gün dört modül; her modülde altı teknik başlık, Pub/Sub, Dataflow ve Composer laboratuvarları ile desteklenir.

Seviye

Orta Seviye — Pub/Sub, Dataflow, Cloud Composer ve Data Fusion dahil uçtan uca teknik yelpaze

Öğrenme Metodu

Her modül Pub/Sub, Dataflow ve Composer laboratuvarları üzerinde yönlendirmeli uygulamayla pekiştirilir; katılımcılar komut, sorgu ve yapılandırmaları adım adım kendi projelerinde çalıştırır.

Neden Bu Eğitim?

🎯Konuya Özgü İçerik

Pub/Sub, Dataflow ve Cloud Composer gibi sahada karşılaşılan bileşenler komut ve yapılandırma düzeyinde ele alınır.

🛠️Uygulamalı Laboratuvar

Her modül Pub/Sub, Dataflow ve Composer laboratuvarları ile pekiştirilir; katılımcılar öğrendiklerini kendi projelerinde çalıştırır.

📈Üretime Dönük Bakış

Data Fusion, Cloud Functions ve Dataproc konularında performans, güvenlik ve maliyet ödünleşimleri gerçek senaryolarla tartışılır.

Anahtar Konular

GCP Data Engineer Pro: Creating a Pipeline of Services EğitimiGCP Data Engineer Pro: Creating a Pipeline of ServicesPub/SubDataflowCloud ComposerData FusionCloud FunctionsDataprocGoogle Cloud eğitimiGCP eğitimiDigital Vizyon Akademi

“Pub/Sub sorusuna cevap vermek için önce hangi servisin neden seçildiğini anlamak gerekir.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

SQL Temeli

SELECT, JOIN ve GROUP BY düzeyinde SQL bilgisi eğitimde yazılacak sorguları rahat takip etmenizi sağlar.

2

Veri Kavramları

ETL/ELT, veri ambarı ve batch ile streaming ayrımı hakkında temel bilgi önerilir.

3

Python Okuryazarlığı

Beam ve Spark örneklerini okuyabilecek kadar Python ya da Java bilgisi faydalıdır.

4

Laboratuvar Ortamı

Google Cloud hesabı, güncel tarayıcı ve Cloud Shell erişimi olan internet bağlantılı bir bilgisayar gerekir.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı, servis Zinciri ve Uçtan Uca Pipeline Tasarımı, pub/Sub ile Mesajlaşma, cloud Functions ile Olay Tabanlı Geliştirme ve cloud Storage Yönetimi konularını laboratuvar senaryolarında uygulayarak günün çıktısını kendi ortamında yeniden üretebilir.

Modül 1

Servis Zinciri ve Uçtan Uca Pipeline Tasarımı

Veri kaynağından tüketime akış: ingest, store, process, serve katmanları
Pub/Sub, Dataflow, BigQuery ve Cloud Storage servislerinin birbirine bağlanması
Cloud Scheduler, Workflows ve Eventarc ile olay tabanlı tetikleme
Hata yönetimi: yeniden deneme, dead-letter ve idempotent tasarım
Servis hesapları ve IAM ile aşamalar arası güvenli yetkilendirme
Pipeline izleme, SLA ve maliyet tahmini

Modül 2

Pub/Sub ile Mesajlaşma

Topic, subscription ve mesaj yaşam döngüsü; at-least-once teslimat semantiği
Pull, push ve BigQuery / Cloud Storage subscription türleri
Ack deadline, yeniden deneme politikası ve dead-letter topic yapılandırması
Message ordering key ve exactly-once delivery kullanım koşulları
Şema (Avro/Protobuf) doğrulama ve mesaj saklama (retention) / seek ile tekrar oynatma
Pub/Sub Lite ve Kafka karşılaştırması, kota ve ölçeklenme

Modül 3

Cloud Functions ile Olay Tabanlı Geliştirme

Cloud Functions (2. nesil) çalışma modeli ve Cloud Run tabanı
HTTP ve olay tetikleyicileri; Eventarc ile Cloud Storage, Pub/Sub ve Firestore olayları
Bağımlılık yönetimi, ortam değişkenleri ve Secret Manager entegrasyonu
Soğuk başlangıç (cold start), minimum instance ve eşzamanlılık ayarları
Yerel geliştirme için Functions Framework ve birim test
Hata yönetimi, yeniden deneme ve idempotent fonksiyon tasarımı

Modül 4

Cloud Storage Yönetimi

Standard, Nearline, Coldline ve Archive depolama sınıfları ile maliyet etkisi
Object lifecycle yönetimi, versioning ve retention policy / bucket lock
Uniform bucket-level access, ACL ve signed URL ile erişim kontrolü
gsutil ve gcloud storage ile paralel yükleme, rsync ve composite upload
Pub/Sub bildirimleri ve Eventarc ile nesne olaylarına tepki
Storage Transfer Service ve çok bölgeli (dual-region) bucket tasarımı

Günün hedefiKatılımcı, dataflow ve Apache Beam ile Veri İşleme, cloud Composer ile İş Akışı Orkestrasyonu, data Fusion, Dataprep ve Dataplex ve dataproc ile Hadoop ve Spark İşleme konularını laboratuvar senaryolarında uygulayarak günün çıktısını kendi ortamında yeniden üretebilir.

Modül 1

Dataflow ve Apache Beam ile Veri İşleme

Beam programlama modeli: Pipeline, PCollection, PTransform ve ParDo
GroupByKey, CombinePerKey, Side Input ve yan çıktılar (tagged outputs)
Windowing türleri: fixed, sliding, session ve global pencere
Event time, watermark, trigger ve geç gelen veri (allowed lateness) yönetimi
Dataflow Runner ile iş başlatma, autoscaling, Streaming Engine ve Shuffle servisi
Classic ve Flex Template ile yeniden kullanılabilir pipeline dağıtımı

Modül 2

Cloud Composer ile İş Akışı Orkestrasyonu

Apache Airflow DAG yapısı, task bağımlılıkları ve zamanlama (schedule)
BigQueryInsertJobOperator, DataflowTemplatedJobStartOperator gibi Google operatörleri
Sensör, XCom ve dinamik görev üretimi
Composer 2 ortam boyutlandırma, worker autoscaling ve ağ yapılandırması
Retry, SLA, backfill ve hata bildirimi stratejileri
DAG'lerin Cloud Storage üzerinden dağıtımı ve CI/CD ile test edilmesi

Modül 3

Data Fusion, Dataprep ve Dataplex

Cloud Data Fusion'da görsel pipeline tasarımı ve plugin yapısı
Wrangler ile veri temizleme ve dönüştürme adımları
Dataprep (Trifacta) ile hazırlık recipe'leri
Dataplex lake, zone ve asset kavramları ile veri yönetişimi
Veri kalitesi görevleri, lineage ve metadata yönetimi
Araç seçimi: kod gerektirmeyen ETL ile Dataflow / Dataproc karşılaştırması

Modül 4

Dataproc ile Hadoop ve Spark İşleme

Dataproc küme mimarisi: master, worker ve preemptible/secondary worker düğümleri
Geçici (ephemeral) küme yaklaşımı ve Cloud Storage connector ile HDFS yerine GCS
Spark job gönderme, PySpark ve Spark SQL ile veri dönüşümü
Autoscaling politikaları ve initialization action ile özelleştirme
Dataproc Serverless for Spark ve Dataproc Metastore
Workflow template ile zincirli iş tanımı ve Hadoop iş yüklerinin GCP'ye taşınması

Günün hedefiKatılımcı, bigQuery'ye Veri Yükleme ve Dış Kaynaklar, akış (Streaming) Mimari Desenleri, cloud Monitoring, Logging ve Uyarı Yönetimi ve iAM, Servis Hesapları ve Erişim Yönetimi konularını laboratuvar senaryolarında uygulayarak günün çıktısını kendi ortamında yeniden üretebilir.

Modül 1

BigQuery'ye Veri Yükleme ve Dış Kaynaklar

Load job ile CSV, JSON, Avro, Parquet ve ORC dosyalarının yüklenmesi
Storage Write API ve eski streaming insert yöntemlerinin karşılaştırması
Harici tablolar (external table), BigLake tabloları ve Hive bölümlü veri
Federated query ile Cloud SQL, Spanner ve Bigtable kaynaklarına sorgu
BigQuery Data Transfer Service ile SaaS ve Cloud Storage zamanlanmış aktarımı
Şema otomatik algılama, şema evrimi ve hatalı kayıt yönetimi (max bad records)

Modül 2

Akış (Streaming) Mimari Desenleri

Lambda ve Kappa mimarilerinin karşılaştırması ve GCP karşılıkları
Pub/Sub → Dataflow → BigQuery / Bigtable referans mimarisi
Exactly-once işleme, idempotent yazma ve tekilleştirme (dedup) teknikleri
Geç gelen veri, çok bölgeli yedeklilik ve replay stratejileri
Gerçek zamanlı kullanıcı etkinliği, IoT telemetri ve log analitiği kullanım senaryoları
Gecikme, verim (throughput) ve maliyet ödünleşimleri

Modül 3

Cloud Monitoring, Logging ve Uyarı Yönetimi

Ops Agent kurulumu ve metrik/log toplama yapılandırması
Cloud Monitoring dashboard, MQL/PromQL sorguları ve uptime check
Alerting policy, bildirim kanalları ve SLO / hata bütçesi izleme
Cloud Logging sorgu dili, log-based metric ve log bucket saklama süreleri
Log Router sink'leri ile BigQuery, Cloud Storage ve Pub/Sub'a log aktarımı
Error Reporting, Cloud Trace ve Cloud Profiler ile uygulama teşhisi

Modül 4

IAM, Servis Hesapları ve Erişim Yönetimi

Temel, önceden tanımlı ve özel rollerin (custom role) karşılaştırması
IAM policy binding yapısı, koşullu roller (IAM Conditions) ve politika mirası
Servis hesabı oluşturma, anahtar yönetimi ve servis hesabı kimliğine bürünme (impersonation)
Workload Identity Federation ile harici kimliklerin anahtarsız yetkilendirilmesi
Organization Policy kısıtları ve en az yetki ilkesinin uygulanması
Cloud Audit Logs ile Admin Activity ve Data Access kayıtlarının incelenmesi

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

Pipeline Tasarımı

Birden fazla GCP servisini güvenilir bir veri hattında birleştirebilirsiniz.

🔧

Pub/Sub Mesajlaşma

Pub/Sub topic ve subscription tasarımını güvenilir teslimat için yapılandırabilirsiniz.

📊

Cloud Storage

Bucket tasarımını erişim, yaşam döngüsü ve maliyet açısından yönetebilirsiniz.

🔐

Dataflow ve Beam

Beam ile batch ve streaming pipeline yazıp Dataflow üzerinde çalıştırabilirsiniz.

🚀

Görsel ETL Araçları

Data Fusion ve Dataplex ile kod gerektirmeyen veri hazırlama akışları kurabilirsiniz.

🧩

Dataproc ve Spark

Spark/Hadoop iş yüklerini geçici Dataproc kümeleriyle çalıştırabilirsiniz.

📈

Streaming Mimarisi

Gerçek zamanlı veri akışı için uçtan uca GCP mimarisi tasarlayabilirsiniz.

🛠️

İzleme ve Loglama

Metrik, log ve uyarı politikalarıyla bulut kaynaklarını izleyebilir ve sorun giderebilirsiniz.

Kimler İçin Uygundur?

ETL/ELT akışı kuran veri mühendisleri
bulut geliştiricileri içindir

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

ETL/ELT akışı kuran veri mühendisleri ve bulut geliştiricileri içindir.

Eğitime katılmak için hangi ön bilgi gerekir?

Temel SQL, veri modelleme ve Google Cloud servis adlarına aşinalık önerilir. Eksik konular eğitim sırasında tamamlanır.

GCP Data Engineer Pro: Creating a Pipeline of Services eğitiminde hangi konular işlenir?

1. gün Pipeline Tasarımı ve Pub/Sub Mesajlaşma; 2. gün Dataflow ve Beam ve İş Akışı Orkestrasyonu; 3. gün Veri Yükleme ve Streaming Mimarisi. Ayrıca Pub/Sub, Dataflow ve Cloud Composer uygulamalı çalışılır.

Eğitim sonunda sertifika veriliyor mu?

Eğitimi tamamlayan katılımcılara Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir. Google Cloud sertifikasyon sınavı ayrı bir süreçtir; sınav başvurusu ve ücreti ilgili kuruma aittir. Eğitim hazırlık içeriği sunar ve sınav sonucunu vaat etmez.

Eğitim nasıl yürütülür?

Eğitim 3 gündür ve her gün dört modülden oluşur. Anlatımlar Pub/Sub, Dataflow ve Composer laboratuvarları ile birleşir; katılımcılar komut, sorgu ve yapılandırmaları kendi ortamlarında çalıştırır.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

GCP DATA ENGINEER PRO: CREATING A PIPELINE OF SERVICES EĞİTİMİ

Eğitim Hakkında

Neden Bu Eğitim?

Anahtar Konular

Ön Koşullar

Eğitim İçeriği

Servis Zinciri ve Uçtan Uca Pipeline Tasarımı

Pub/Sub ile Mesajlaşma

Cloud Functions ile Olay Tabanlı Geliştirme

Cloud Storage Yönetimi

Dataflow ve Apache Beam ile Veri İşleme

Cloud Composer ile İş Akışı Orkestrasyonu

Data Fusion, Dataprep ve Dataplex

Dataproc ile Hadoop ve Spark İşleme

BigQuery'ye Veri Yükleme ve Dış Kaynaklar

Akış (Streaming) Mimari Desenleri

Cloud Monitoring, Logging ve Uyarı Yönetimi

IAM, Servis Hesapları ve Erişim Yönetimi

Eğitim Kazanımları

Kimler İçin Uygundur?

Sıkça Sorulan Sorular

Sertifikalandırma

Eğitim Bilgileri

Bu Eğitimle Birlikte Tercih Edilenler

Google Cloud Digital Leader: Introducing Google Cloud Concepts Eğitimi

Google Cloud Digital Leader: Managing Infrastructure on Google Cloud Eğitimi

Google Cloud Digital Leader: Modern Applications on Google Cloud Eğitimi

Google Cloud Digital Leader: Modern Cloud App Development Eğitimi

Google Cloud Digital Leader: Modernizing Infrastructure and Applications Eğitimi