GCP DATA ENGINEER PRO: DATASET PROCESSING EĞİTİMİ

Büyük veri kümelerini doğru araçla işleyin

Dataproc, Apache Beam, Spark ve Data Fusion konularını 3 günde uygulamalı Google Cloud laboratuvarlarıyla öğrenin

GCP Data Engineer Pro: Dataset Processing eğitimi 3 gün sürer; Dataproc, Apache Beam, Spark, Data Fusion ve Cloud Composer konularını laboratuvar uygulamalarıyla işler. Veri işleme pipeline'ları geliştiren mühendisler ve PDE sınavına hazırlananlar içindir.

3 gün Orta Seviye Online / Yüz Yüze / Hibrit Sertifikalı

Eğitim Hakkında

Dataproc, Apache Beam ve Spark ekseninde uygulamalı Google Cloud eğitimi

Büyük veri kümelerinin Google Cloud'da işlenmesini kapsar. Veri yapısı seçimi, Dataproc ve Spark, Beam/Dataflow, Data Fusion ile görsel ETL, Cloud Composer orkestrasyonu, BigQuery SQL dönüşümleri, BigLake göl tabloları, streaming işleme, performans ayarı, izleme ve ölçekleme uygulanır. Her konu, gerçek proje senaryolarına dayanan yönlendirmeli laboratuvar çalışmalarıyla pekiştirilir.

Süre ve Format

3 Gün. Her gün dört modül; her modülde altı teknik başlık, Dataproc, Dataflow ve BigQuery laboratuvarları ile desteklenir.

Seviye

Orta Seviye — Dataproc, Apache Beam, Spark ve Data Fusion dahil uçtan uca teknik yelpaze

Öğrenme Metodu

Her modül Dataproc, Dataflow ve BigQuery laboratuvarları üzerinde yönlendirmeli uygulamayla pekiştirilir; katılımcılar komut, sorgu ve yapılandırmaları adım adım kendi projelerinde çalıştırır.

Neden Bu Eğitim?

🎯Konuya Özgü İçerik

Dataproc, Apache Beam ve Spark gibi sahada karşılaşılan bileşenler komut ve yapılandırma düzeyinde ele alınır.

🛠️Uygulamalı Laboratuvar

Her modül Dataproc, Dataflow ve BigQuery laboratuvarları ile pekiştirilir; katılımcılar öğrendiklerini kendi projelerinde çalıştırır.

📈Üretime Dönük Bakış

Data Fusion, Cloud Composer ve BigQuery SQL konularında performans, güvenlik ve maliyet ödünleşimleri gerçek senaryolarla tartışılır.

Anahtar Konular

GCP Data Engineer Pro: Dataset Processing EğitimiGCP Data Engineer Pro: Dataset ProcessingDataprocApache BeamSparkData FusionCloud ComposerBigQuery SQLGoogle Cloud eğitimiGCP eğitimiDigital Vizyon Akademi
“Dataproc sorusuna cevap vermek için önce hangi servisin neden seçildiğini anlamak gerekir.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1
SQL Temeli

SELECT, JOIN ve GROUP BY düzeyinde SQL bilgisi eğitimde yazılacak sorguları rahat takip etmenizi sağlar.

2
Veri Kavramları

ETL/ELT, veri ambarı ve batch ile streaming ayrımı hakkında temel bilgi önerilir.

3
Python Okuryazarlığı

Beam ve Spark örneklerini okuyabilecek kadar Python ya da Java bilgisi faydalıdır.

4
Laboratuvar Ortamı

Google Cloud hesabı, güncel tarayıcı ve Cloud Shell erişimi olan internet bağlantılı bir bilgisayar gerekir.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı, veri Yapıları ve Şema Tasarımı, dataproc ile Hadoop ve Spark İşleme, dataflow ve Apache Beam ile Veri İşleme ve data Fusion, Dataprep ve Dataplex konularını laboratuvar senaryolarında uygulayarak günün çıktısını kendi ortamında yeniden üretebilir.
Modül 1
Veri Yapıları ve Şema Tasarımı
  • Yapılandırılmış, yarı yapılandırılmış ve yapılandırılmamış veri ayrımı
  • Normalizasyon ile denormalizasyon kararları ve OLTP / OLAP farkı
  • Bigtable, BigQuery ve Spanner için şema tasarım kalıpları
  • Veri türleri, NULL yönetimi ve ARRAY / STRUCT kullanımı
  • Erişim desenine göre anahtar ve bölüm seçimi
  • Şema evrimi ve geriye dönük uyumluluk
Modül 2
Dataproc ile Hadoop ve Spark İşleme
  • Dataproc küme mimarisi: master, worker ve preemptible/secondary worker düğümleri
  • Geçici (ephemeral) küme yaklaşımı ve Cloud Storage connector ile HDFS yerine GCS
  • Spark job gönderme, PySpark ve Spark SQL ile veri dönüşümü
  • Autoscaling politikaları ve initialization action ile özelleştirme
  • Dataproc Serverless for Spark ve Dataproc Metastore
  • Workflow template ile zincirli iş tanımı ve Hadoop iş yüklerinin GCP'ye taşınması
Modül 3
Dataflow ve Apache Beam ile Veri İşleme
  • Beam programlama modeli: Pipeline, PCollection, PTransform ve ParDo
  • GroupByKey, CombinePerKey, Side Input ve yan çıktılar (tagged outputs)
  • Windowing türleri: fixed, sliding, session ve global pencere
  • Event time, watermark, trigger ve geç gelen veri (allowed lateness) yönetimi
  • Dataflow Runner ile iş başlatma, autoscaling, Streaming Engine ve Shuffle servisi
  • Classic ve Flex Template ile yeniden kullanılabilir pipeline dağıtımı
Modül 4
Data Fusion, Dataprep ve Dataplex
  • Cloud Data Fusion'da görsel pipeline tasarımı ve plugin yapısı
  • Wrangler ile veri temizleme ve dönüştürme adımları
  • Dataprep (Trifacta) ile hazırlık recipe'leri
  • Dataplex lake, zone ve asset kavramları ile veri yönetişimi
  • Veri kalitesi görevleri, lineage ve metadata yönetimi
  • Araç seçimi: kod gerektirmeyen ETL ile Dataflow / Dataproc karşılaştırması
Günün hedefiKatılımcı, cloud Composer ile İş Akışı Orkestrasyonu, bigQuery Standard SQL ve İleri Sorgular, bigQuery'ye Veri Yükleme ve Dış Kaynaklar ve veri Gölü ve BigLake Mimarisi konularını laboratuvar senaryolarında uygulayarak günün çıktısını kendi ortamında yeniden üretebilir.
Modül 1
Cloud Composer ile İş Akışı Orkestrasyonu
  • Apache Airflow DAG yapısı, task bağımlılıkları ve zamanlama (schedule)
  • BigQueryInsertJobOperator, DataflowTemplatedJobStartOperator gibi Google operatörleri
  • Sensör, XCom ve dinamik görev üretimi
  • Composer 2 ortam boyutlandırma, worker autoscaling ve ağ yapılandırması
  • Retry, SLA, backfill ve hata bildirimi stratejileri
  • DAG'lerin Cloud Storage üzerinden dağıtımı ve CI/CD ile test edilmesi
Modül 2
BigQuery Standard SQL ve İleri Sorgular
  • Standard SQL ile JOIN, GROUP BY, HAVING ve alt sorgu (subquery) kalıpları
  • ARRAY, STRUCT ve UNNEST ile iç içe/tekrarlı alanların sorgulanması
  • Pencere (window) fonksiyonları: ROW_NUMBER, LAG, SUM() OVER (PARTITION BY ...)
  • WITH ifadeleri (CTE), geçici tablolar ve scripting (DECLARE, LOOP, EXECUTE IMMEDIATE)
  • Kullanıcı tanımlı fonksiyonlar (SQL ve JavaScript UDF) ile procedure yazımı
  • Zamanlanmış sorgular (scheduled queries) ve parametreli sorgular
Modül 3
BigQuery'ye Veri Yükleme ve Dış Kaynaklar
  • Load job ile CSV, JSON, Avro, Parquet ve ORC dosyalarının yüklenmesi
  • Storage Write API ve eski streaming insert yöntemlerinin karşılaştırması
  • Harici tablolar (external table), BigLake tabloları ve Hive bölümlü veri
  • Federated query ile Cloud SQL, Spanner ve Bigtable kaynaklarına sorgu
  • BigQuery Data Transfer Service ile SaaS ve Cloud Storage zamanlanmış aktarımı
  • Şema otomatik algılama, şema evrimi ve hatalı kayıt yönetimi (max bad records)
Modül 4
Veri Gölü ve BigLake Mimarisi
  • Cloud Storage üzerinde Parquet / ORC veri gölü düzeni ve bölüm yapısı
  • BigLake tabloları ile ince taneli erişim kontrolü
  • Apache Iceberg tabloları ve metadata yönetimi
  • Dataproc Metastore ve BigQuery arasında şema paylaşımı
  • Veri gölü ile veri ambarı arasında seçim ölçütleri
  • Veri sürümleme ve yaşam döngüsü politikaları
Günün hedefiKatılımcı, akış (Streaming) Mimari Desenleri, bigQuery Sorgu Optimizasyonu ve Performans, cloud Monitoring, Logging ve Uyarı Yönetimi ve analitikte Ölçekleme Teknikleri konularını laboratuvar senaryolarında uygulayarak günün çıktısını kendi ortamında yeniden üretebilir.
Modül 1
Akış (Streaming) Mimari Desenleri
  • Lambda ve Kappa mimarilerinin karşılaştırması ve GCP karşılıkları
  • Pub/Sub → Dataflow → BigQuery / Bigtable referans mimarisi
  • Exactly-once işleme, idempotent yazma ve tekilleştirme (dedup) teknikleri
  • Geç gelen veri, çok bölgeli yedeklilik ve replay stratejileri
  • Gerçek zamanlı kullanıcı etkinliği, IoT telemetri ve log analitiği kullanım senaryoları
  • Gecikme, verim (throughput) ve maliyet ödünleşimleri
Modül 2
BigQuery Sorgu Optimizasyonu ve Performans
  • Query execution graph (sorgu planı) okuma ve aşama (stage) bazlı darboğaz analizi
  • SELECT * kaçınma, erken filtreleme ve JOIN sıralama teknikleri
  • Önbellek (cache) davranışı, dry run ve maximum bytes billed sınırı
  • APPROX_COUNT_DISTINCT gibi yaklaşık fonksiyonlar ve veri çarpıklığı (skew) yönetimi
  • BI Engine rezervasyonu, search index ve vector index kullanımı
  • INFORMATION_SCHEMA.JOBS ile pahalı sorguların bulunması
Modül 3
Cloud Monitoring, Logging ve Uyarı Yönetimi
  • Ops Agent kurulumu ve metrik/log toplama yapılandırması
  • Cloud Monitoring dashboard, MQL/PromQL sorguları ve uptime check
  • Alerting policy, bildirim kanalları ve SLO / hata bütçesi izleme
  • Cloud Logging sorgu dili, log-based metric ve log bucket saklama süreleri
  • Log Router sink'leri ile BigQuery, Cloud Storage ve Pub/Sub'a log aktarımı
  • Error Reporting, Cloud Trace ve Cloud Profiler ile uygulama teşhisi
Modül 4
Analitikte Ölçekleme Teknikleri
  • BigQuery slot autoscaling ve rezervasyon boyutlandırma
  • Dataflow yatay ölçekleme, Streaming Engine ve worker tipi seçimi
  • Bigtable küme düğüm sayısı, replikasyon ve load test (Key Visualizer)
  • Spanner işlem birimi (processing unit) ve bölünme (split) davranışı
  • Ölçekleme sırasında maliyet izleme ve kota yönetimi
  • Darboğaz tespiti için Cloud Monitoring dashboard'ları

Eğitim Kazanımları

Program sonunda katılımcılar:

✅
Şema Tasarımı

Erişim desenine göre veri depolarında şema ve anahtar tasarlayabilirsiniz.

🔧
Dataproc ve Spark

Spark/Hadoop iş yüklerini geçici Dataproc kümeleriyle çalıştırabilirsiniz.

📊
Görsel ETL Araçları

Data Fusion ve Dataplex ile kod gerektirmeyen veri hazırlama akışları kurabilirsiniz.

🔐
İş Akışı Orkestrasyonu

Composer'da Airflow DAG'leri ile veri işlerini zamanlayıp izleyebilirsiniz.

🚀
Veri Yükleme

Batch ve streaming yöntemleriyle BigQuery'ye farklı formatlarda veri aktarabilirsiniz.

🧩
Veri Gölü

BigLake ve Iceberg ile veri gölü ile ambarı birlikte kullanabilirsiniz.

📈
Sorgu Optimizasyonu

Sorgu planını okuyup maliyet ve süreyi düşüren optimizasyonlar uygulayabilirsiniz.

🛠️
İzleme ve Loglama

Metrik, log ve uyarı politikalarıyla bulut kaynaklarını izleyebilir ve sorun giderebilirsiniz.

Kimler İçin Uygundur?

  • Veri işleme pipeline'ları geliştiren mühendisler
  • PDE sınavına hazırlananlar içindir

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?
Veri işleme pipeline'ları geliştiren mühendisler ve PDE sınavına hazırlananlar içindir.
Eğitime katılmak için hangi ön bilgi gerekir?
Temel SQL, veri modelleme ve Google Cloud servis adlarına aşinalık önerilir. Eksik konular eğitim sırasında tamamlanır.
GCP Data Engineer Pro: Dataset Processing eğitiminde hangi konular işlenir?
1. gün Şema Tasarımı ve Dataproc ve Spark; 2. gün İş Akışı Orkestrasyonu ve BigQuery SQL; 3. gün Streaming Mimarisi ve Sorgu Optimizasyonu. Ayrıca Dataproc, Apache Beam ve Spark uygulamalı çalışılır.
Eğitim sonunda sertifika veriliyor mu?
Eğitimi tamamlayan katılımcılara Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir. Google Cloud sertifikasyon sınavı ayrı bir süreçtir; sınav başvurusu ve ücreti ilgili kuruma aittir. Eğitim hazırlık içeriği sunar ve sınav sonucunu vaat etmez.
Eğitim nasıl yürütülür?
Eğitim 3 gündür ve her gün dört modülden oluşur. Anlatımlar Dataproc, Dataflow ve BigQuery laboratuvarları ile birleşir; katılımcılar komut, sorgu ve yapılandırmaları kendi ortamlarında çalıştırır.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika d Digital Vizyon AKADEMİ KATILIM SERTİFİKASI Bu sertifika [Katılımcı Adı Soyadı] adlı katılımcının aşağıdaki eğitim programını başarıyla tamamladığını belgeler. GCP Data Engineer Pro: Dataset Processing Eğitimi Sertifika Kodu DV-2026XX00 Tarih 27.10.2026 Yetkili İmza DV AKADEMİ

Eğitim Bilgileri

Süre3 gün
SeviyeOrta Seviye
FormatOnline / Yüz Yüze / Hibrit
Sertifika✓ Var
Hemen Bilgi Al
İlgili Eğitimler

Bu Eğitimle Birlikte Tercih Edilenler

Google CloudGoogle Cloud Digital Leader: Storage Options for Structured Data Eğitimi
Bulut Bilişim Eğitimleri

Google Cloud Digital Leader: Storage Options for Structured Data Eğitimi

2 günTemelOnline / Yüz Yüze / Hibrit

Cloud Digital Leader: Storage Options for Structured Data eğitimi: yapılandırılmış veri için Google Cloud depolama seçenekleri: Cloud SQL, AlloyDB. 2 gün uygula

Detayları Gör →
Google CloudGoogle Cloud Digital Leader: Storage Options for Unstructured Data Eğitimi
Bulut Bilişim Eğitimleri

Google Cloud Digital Leader: Storage Options for Unstructured Data Eğitimi

2 günTemelOnline / Yüz Yüze / Hibrit

Cloud Digital Leader: Storage Options for Unstructured Data eğitimi: cloud storage ile nesne depolama uygulamalı. 2 gün, DVA Katılım ve Başarı Sertifikası veril

Detayları Gör →
Google CloudGoogle Cloud Digital Leader: Total Cost of Ownership and Cloud Infrastructure Eğitimi
Bulut Bilişim Eğitimleri

Google Cloud Digital Leader: Total Cost of Ownership and Cloud Infrastructure Eğitimi

2 günTemelOnline / Yüz Yüze / Hibrit

Cloud Digital Leader: Total Cost of Ownership and Cloud Infrastructure eğitimi, 2 gün uygulamalı Google Cloud programı. DVA Katılım ve Başarı Sertifikası verili

Detayları Gör →
Google CloudGoogle Cloud Digital Leader: Unstructured Data and Transaction Processing Eğitimi
Bulut Bilişim Eğitimleri

Google Cloud Digital Leader: Unstructured Data and Transaction Processing Eğitimi

2 günTemelOnline / Yüz Yüze / Hibrit

Cloud Digital Leader: Unstructured Data and Transaction Processing eğitimi: cloud storage ile nesne depolama uygulamalı. 2 gün, DVA Katılım ve Başarı Sertifikas

Detayları Gör →
Google CloudGoogle Cloud Digital Leader: Working with Data Eğitimi
Bulut Bilişim Eğitimleri

Google Cloud Digital Leader: Working with Data Eğitimi

2 günTemelOnline / Yüz Yüze / Hibrit

Cloud Digital Leader: Working with Data eğitimi: veritabanı hizmetlerinin karşılaştırması uygulamalı. 2 gün, DVA Katılım ve Başarı Sertifikası verilir.

Detayları Gör →
+90 (501) 369 40 14 WhatsApp [email protected] LinkedIn