GCP Professional Data Engineer (PDE) Exam Prep

Eğitim Hakkında

Professional Data Engineer, BigQuery ve Dataflow ekseninde uygulamalı Google Cloud eğitimi

Google Cloud Professional Data Engineer sınavına yönelik hazırlık eğitimidir. Depolama servislerinin seçimi, BigQuery tasarımı ve optimizasyonu, Pub/Sub, Dataflow, Dataproc ve Composer ile işleme, güvenlik, ML ve izleme alanları incelenir; son gün sınav alanları, vaka çalışmaları ve deneme soruları çözülür.

Süre ve Format

4 Gün. Her gün dört modül; her modülde altı teknik başlık, Vaka çalışmaları ve laboratuvar tekrarları ile desteklenir.

Seviye

İleri Seviye — Professional Data Engineer, BigQuery, Dataflow ve Bigtable dahil uçtan uca teknik yelpaze

Öğrenme Metodu

Her modül Vaka çalışmaları ve laboratuvar tekrarları üzerinde yönlendirmeli uygulamayla pekiştirilir; katılımcılar komut, sorgu ve yapılandırmaları adım adım kendi projelerinde çalıştırır.

Neden Bu Eğitim?

🎯Konuya Özgü İçerik

Professional Data Engineer, BigQuery ve Dataflow gibi sahada karşılaşılan bileşenler komut ve yapılandırma düzeyinde ele alınır.

🛠️Uygulamalı Laboratuvar

Her modül Vaka çalışmaları ve laboratuvar tekrarları ile pekiştirilir; katılımcılar öğrendiklerini kendi projelerinde çalıştırır.

📈Üretime Dönük Bakış

Bigtable, Spanner ve Vertex AI konularında performans, güvenlik ve maliyet ödünleşimleri gerçek senaryolarla tartışılır.

Anahtar Konular

GCP Professional Data Engineer (PDE) Exam Prep EğitimiGCP Professional Data Engineer (PDE) Exam PrepProfessional Data EngineerBigQueryDataflowBigtableSpannerVertex AIGoogle Cloud eğitimiGCP eğitimiDigital Vizyon Akademi

“Professional Data Engineer sorusuna cevap vermek için önce hangi servisin neden seçildiğini anlamak gerekir.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

SQL Temeli

SELECT, JOIN ve GROUP BY düzeyinde SQL bilgisi eğitimde yazılacak sorguları rahat takip etmenizi sağlar.

2

Veri Kavramları

ETL/ELT, veri ambarı ve batch ile streaming ayrımı hakkında temel bilgi önerilir.

3

Python Okuryazarlığı

Beam ve Spark örneklerini okuyabilecek kadar Python ya da Java bilgisi faydalıdır.

4

Laboratuvar Ortamı

Google Cloud hesabı, güncel tarayıcı ve Cloud Shell erişimi olan internet bağlantılı bir bilgisayar gerekir.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı, veri Yapıları ve Şema Tasarımı, cloud Storage Yönetimi, oLTP Depolama: Cloud SQL, AlloyDB ve Spanner ve yarı Yapılandırılmış Veri: Firestore, Bigtable ve Memorystore konularını laboratuvar senaryolarında uygulayarak günün çıktısını kendi ortamında yeniden üretebilir.

Modül 1

Veri Yapıları ve Şema Tasarımı

Yapılandırılmış, yarı yapılandırılmış ve yapılandırılmamış veri ayrımı
Normalizasyon ile denormalizasyon kararları ve OLTP / OLAP farkı
Bigtable, BigQuery ve Spanner için şema tasarım kalıpları
Veri türleri, NULL yönetimi ve ARRAY / STRUCT kullanımı
Erişim desenine göre anahtar ve bölüm seçimi
Şema evrimi ve geriye dönük uyumluluk

Modül 2

Cloud Storage Yönetimi

Standard, Nearline, Coldline ve Archive depolama sınıfları ile maliyet etkisi
Object lifecycle yönetimi, versioning ve retention policy / bucket lock
Uniform bucket-level access, ACL ve signed URL ile erişim kontrolü
gsutil ve gcloud storage ile paralel yükleme, rsync ve composite upload
Pub/Sub bildirimleri ve Eventarc ile nesne olaylarına tepki
Storage Transfer Service ve çok bölgeli (dual-region) bucket tasarımı

Modül 3

OLTP Depolama: Cloud SQL, AlloyDB ve Spanner

Cloud SQL (MySQL, PostgreSQL, SQL Server) yüksek erişilebilirlik ve okuma kopyaları
Otomatik yedekleme, point-in-time recovery ve bakım pencereleri
AlloyDB mimarisi, kolonar motor ve okuma havuzu
Cloud Spanner: global tutarlılık, TrueTime, interleaved tablo ve birincil anahtar tasarımı
Bağlantı yöntemleri: Cloud SQL Auth Proxy, private IP ve bağlantı havuzu
İş yüküne göre veritabanı seçim ölçütleri ve maliyet karşılaştırması

Modül 4

Yarı Yapılandırılmış Veri: Firestore, Bigtable ve Memorystore

Firestore belge/koleksiyon modeli, dizinler ve güvenlik kuralları
Bigtable düğüm, tablet ve satır anahtarı (row key) tasarımı; hotspot önleme
Bigtable column family, garbage collection ve replikasyon profilleri
JSON verinin BigQuery JSON tipi ile saklanması ve JSON_VALUE / JSON_QUERY sorguları
Memorystore for Redis ve Memcached ile önbellekleme
Veri modeli seçimi: geniş sütunlu, belge ve anahtar-değer kullanım senaryoları

Günün hedefiKatılımcı, bigQuery Mimarisi ve Temel Kavramlar, bigQuery Depolama Tasarımı: Bölümleme ve Kümeleme, bigQuery Sorgu Optimizasyonu ve Performans ve veri Ambarı Tasarımı ve ELT Kalıpları konularını laboratuvar senaryolarında uygulayarak günün çıktısını kendi ortamında yeniden üretebilir.

Modül 1

BigQuery Mimarisi ve Temel Kavramlar

Dremel yürütme motoru, Colossus depolama ve Capacitor sütunlu format yapısı
Hesaplama ile depolamanın ayrılması ve slot kavramı
Dataset, table, view ve routine nesneleri ile proje/dataset/tablo adlandırması
On-demand fiyatlandırma ile BigQuery Editions (Standard, Enterprise, Enterprise Plus) farkı
bq CLI, Console ve istemci kütüphaneleri ile iş (job) çalıştırma
Sandbox kullanımı, ücretsiz katman limitleri ve kota yönetimi

Modül 2

BigQuery Depolama Tasarımı: Bölümleme ve Kümeleme

Zaman birimi (time-unit), ingestion-time ve tamsayı aralığı (integer range) bölümleme
Clustering sütunlarının seçimi ve sıralamanın taranan veri miktarına etkisi
Partition expiration, require partition filter ve tablo yaşam döngüsü
Denormalizasyon, iç içe/tekrarlı şemalar ve star schema karşılaştırması
Materialized view'ler ve otomatik yenileme davranışı
Time travel, tablo snapshot'ları ve table clone ile veri koruma

Modül 3

BigQuery Sorgu Optimizasyonu ve Performans

Query execution graph (sorgu planı) okuma ve aşama (stage) bazlı darboğaz analizi
SELECT * kaçınma, erken filtreleme ve JOIN sıralama teknikleri
Önbellek (cache) davranışı, dry run ve maximum bytes billed sınırı
APPROX_COUNT_DISTINCT gibi yaklaşık fonksiyonlar ve veri çarpıklığı (skew) yönetimi
BI Engine rezervasyonu, search index ve vector index kullanımı
INFORMATION_SCHEMA.JOBS ile pahalı sorguların bulunması

Modül 4

Veri Ambarı Tasarımı ve ELT Kalıpları

Star schema, snowflake ve geniş (wide) tablo yaklaşımlarının BigQuery'deki yeri
Yavaş değişen boyutlar (SCD Tip 1/2) için MERGE ifadeleri
Staging, core ve mart katmanlı (medallion benzeri) veri ambarı mimarisi
Dataform ile SQL tabanlı ELT iş akışları ve bağımlılık yönetimi
Veri kalitesi kontrolleri (assertion) ve şema değişikliği yönetimi
Dataplex ile veri yönetişimi, lineage ve keşif

Günün hedefiKatılımcı, pub/Sub ile Mesajlaşma, dataflow ve Apache Beam ile Veri İşleme, dataproc ile Hadoop ve Spark İşleme ve cloud Composer ile İş Akışı Orkestrasyonu konularını laboratuvar senaryolarında uygulayarak günün çıktısını kendi ortamında yeniden üretebilir.

Modül 1

Pub/Sub ile Mesajlaşma

Topic, subscription ve mesaj yaşam döngüsü; at-least-once teslimat semantiği
Pull, push ve BigQuery / Cloud Storage subscription türleri
Ack deadline, yeniden deneme politikası ve dead-letter topic yapılandırması
Message ordering key ve exactly-once delivery kullanım koşulları
Şema (Avro/Protobuf) doğrulama ve mesaj saklama (retention) / seek ile tekrar oynatma
Pub/Sub Lite ve Kafka karşılaştırması, kota ve ölçeklenme

Modül 2

Dataflow ve Apache Beam ile Veri İşleme

Beam programlama modeli: Pipeline, PCollection, PTransform ve ParDo
GroupByKey, CombinePerKey, Side Input ve yan çıktılar (tagged outputs)
Windowing türleri: fixed, sliding, session ve global pencere
Event time, watermark, trigger ve geç gelen veri (allowed lateness) yönetimi
Dataflow Runner ile iş başlatma, autoscaling, Streaming Engine ve Shuffle servisi
Classic ve Flex Template ile yeniden kullanılabilir pipeline dağıtımı

Modül 3

Dataproc ile Hadoop ve Spark İşleme

Dataproc küme mimarisi: master, worker ve preemptible/secondary worker düğümleri
Geçici (ephemeral) küme yaklaşımı ve Cloud Storage connector ile HDFS yerine GCS
Spark job gönderme, PySpark ve Spark SQL ile veri dönüşümü
Autoscaling politikaları ve initialization action ile özelleştirme
Dataproc Serverless for Spark ve Dataproc Metastore
Workflow template ile zincirli iş tanımı ve Hadoop iş yüklerinin GCP'ye taşınması

Modül 4

Cloud Composer ile İş Akışı Orkestrasyonu

Apache Airflow DAG yapısı, task bağımlılıkları ve zamanlama (schedule)
BigQueryInsertJobOperator, DataflowTemplatedJobStartOperator gibi Google operatörleri
Sensör, XCom ve dinamik görev üretimi
Composer 2 ortam boyutlandırma, worker autoscaling ve ağ yapılandırması
Retry, SLA, backfill ve hata bildirimi stratejileri
DAG'lerin Cloud Storage üzerinden dağıtımı ve CI/CD ile test edilmesi

Günün hedefiKatılımcı, veri Güvenliği ve Gizliliği, vertex AI ve Makine Öğrenmesi Boru Hatları, cloud Monitoring, Logging ve Uyarı Yönetimi ve pDE Sınav Alanları ve Vaka Analizi konularını laboratuvar senaryolarında uygulayarak günün çıktısını kendi ortamında yeniden üretebilir.

Modül 1

Veri Güvenliği ve Gizliliği

Cloud KMS, CMEK ve anahtar döndürme (key rotation) politikaları
VPC Service Controls ile veri sızıntısı çevresi (perimeter) tanımı
Sensitive Data Protection: inspect, de-identify ve tokenization
Secret Manager ile parola ve anahtarların saklanması
Veri kalıcılığı, yedekleme ve KVKK/GDPR kapsamında veri konumu kararları
Audit log ve Security Command Center bulgularının izlenmesi

Modül 2

Vertex AI ve Makine Öğrenmesi Boru Hatları

Vertex AI Workbench ve özel eğitim (custom training) işleri
AutoML ve hazır modeller ile hızlı prototipleme
Vertex AI Pipelines (Kubeflow) ile tekrarlanabilir ML iş akışı
Feature Store ve Model Registry kullanımı
Online endpoint, batch prediction ve trafik bölme
Model izleme: veri kayması (drift) ve çarpıklık (skew) tespiti

Modül 3

Cloud Monitoring, Logging ve Uyarı Yönetimi

Ops Agent kurulumu ve metrik/log toplama yapılandırması
Cloud Monitoring dashboard, MQL/PromQL sorguları ve uptime check
Alerting policy, bildirim kanalları ve SLO / hata bütçesi izleme
Cloud Logging sorgu dili, log-based metric ve log bucket saklama süreleri
Log Router sink'leri ile BigQuery, Cloud Storage ve Pub/Sub'a log aktarımı
Error Reporting, Cloud Trace ve Cloud Profiler ile uygulama teşhisi

Modül 4

PDE Sınav Alanları ve Vaka Analizi

Sınav bölümleri: veri işleme sistemleri tasarımı, ingest, depolama, analiz ve operasyon
Servis seçimi karar ağaçları: BigQuery, Bigtable, Spanner, Cloud SQL, Dataflow, Dataproc
Güvenlik, uyumluluk ve IAM odaklı senaryo soruları
Maliyet ve performans ödünleşimi içeren mimari vaka çalışmaları
Çoktan seçmeli soru stratejileri ve elemeli çözüm tekniği
Deneme sınavı sonrası yanlış analizi ve zayıf alan planı

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

Şema Tasarımı

Erişim desenine göre veri depolarında şema ve anahtar tasarlayabilirsiniz.

🔧

OLTP Veritabanları

Cloud SQL, AlloyDB ve Spanner arasında iş yüküne uygun seçim yapabilirsiniz.

📊

BigQuery Mimarisi

BigQuery'nin depolama-hesaplama ayrımını ve slot modelini açıklayabilirsiniz.

🔐

Sorgu Optimizasyonu

Sorgu planını okuyup maliyet ve süreyi düşüren optimizasyonlar uygulayabilirsiniz.

🚀

Pub/Sub Mesajlaşma

Pub/Sub topic ve subscription tasarımını güvenilir teslimat için yapılandırabilirsiniz.

🧩

Dataproc ve Spark

Spark/Hadoop iş yüklerini geçici Dataproc kümeleriyle çalıştırabilirsiniz.

📈

Veri Güvenliği

CMEK, VPC Service Controls ve DLP ile veri güvenliği katmanları kurabilirsiniz.

🛠️

İzleme ve Loglama

Metrik, log ve uyarı politikalarıyla bulut kaynaklarını izleyebilir ve sorun giderebilirsiniz.

Kimler İçin Uygundur?

Professional Data Engineer sınavına hazırlanan deneyimli veri mühendisleri
mimarlar içindir

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

Professional Data Engineer sınavına hazırlanan deneyimli veri mühendisleri ve mimarlar içindir.

Eğitime katılmak için hangi ön bilgi gerekir?

Temel SQL, veri modelleme ve Google Cloud servis adlarına aşinalık önerilir. Eksik konular eğitim sırasında tamamlanır.

GCP Professional Data Engineer (PDE) Exam Prep eğitiminde hangi konular işlenir?

1. gün Şema Tasarımı ve Cloud Storage; 2. gün BigQuery Mimarisi ve Depolama Tasarımı; 3. gün Pub/Sub Mesajlaşma ve Dataflow ve Beam; 4. gün Veri Güvenliği ve Vertex AI. Ayrıca Professional Data Engineer, BigQuery ve Dataflow uygulamalı çalışılır.

Eğitim sonunda sertifika veriliyor mu?

Eğitimi tamamlayan katılımcılara Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir. Google Cloud sertifikasyon sınavı ayrı bir süreçtir; sınav başvurusu ve ücreti ilgili kuruma aittir. Eğitim hazırlık içeriği sunar ve sınav sonucunu vaat etmez.

Eğitim nasıl yürütülür?

Eğitim 4 gündür ve her gün dört modülden oluşur. Anlatımlar Vaka çalışmaları ve laboratuvar tekrarları ile birleşir; katılımcılar komut, sorgu ve yapılandırmaları kendi ortamlarında çalıştırır.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

GCP PROFESSIONAL DATA ENGINEER (PDE) EXAM PREP EĞİTİMİ

Eğitim Hakkında

Neden Bu Eğitim?

Anahtar Konular

Ön Koşullar

Eğitim İçeriği

Veri Yapıları ve Şema Tasarımı

Cloud Storage Yönetimi

OLTP Depolama: Cloud SQL, AlloyDB ve Spanner

Yarı Yapılandırılmış Veri: Firestore, Bigtable ve Memorystore

BigQuery Mimarisi ve Temel Kavramlar

BigQuery Depolama Tasarımı: Bölümleme ve Kümeleme

BigQuery Sorgu Optimizasyonu ve Performans

Veri Ambarı Tasarımı ve ELT Kalıpları

Pub/Sub ile Mesajlaşma

Dataflow ve Apache Beam ile Veri İşleme

Dataproc ile Hadoop ve Spark İşleme

Cloud Composer ile İş Akışı Orkestrasyonu

Veri Güvenliği ve Gizliliği

Vertex AI ve Makine Öğrenmesi Boru Hatları

Cloud Monitoring, Logging ve Uyarı Yönetimi

PDE Sınav Alanları ve Vaka Analizi

Eğitim Kazanımları

Kimler İçin Uygundur?

Sıkça Sorulan Sorular

Sertifikalandırma

Eğitim Bilgileri

Bu Eğitimle Birlikte Tercih Edilenler

Develop Conversational Agents on Google Cloud (GC-CAGC) Eğitimi

Develop Conversational Agents on Google Cloud Eğitimi

Developing APIs with Google Cloud's Apigee API platform (T-APIENG-B) Eğitimi

Developing APIs with Google Cloud's Apigee API Platform Eğitimi

Developing Applications with Cloud Functions on Google Cloud Eğitimi