Serverless Data Processing Dataflow Eğitimi

Eğitim Hakkında

Dataflow ve Beam'e uygulamalı giriş

Eğitim, Google Cloud Dataflow'a hızlı ve uygulamalı giriş sağlar: hazır Google şablonlarıyla (Pub/Sub to BigQuery, Text Files on Cloud Storage to BigQuery) hat çalıştırma, Apache Beam temelleri (PCollection, ParDo, GroupByKey, Combine), basit pencereleme, Pub/Sub ve BigQuery IO, özel şablon oluşturma, Dataflow arayüzünde izleme ve hata ayıklama, maliyet kontrolü.

Süre ve Format

3 Gün. Her gün dört modül; 1. gün Dataflow'a Giriş ve Şablonlar; 2. gün Beam ile Özel Hatlar; 3. gün Şablonlaştırma ve İşletim.

Seviye

Orta Seviye — Dataflow ile sunucusuz veri işlemeye giriş: şablonlar, Beam temelleri ve akış hatları

Öğrenme Metodu

Her konu için kısa anlatımın ardından hemen Dataflow'da çalıştırılan küçük hatlar ve izleme laboratuvarlarıyla ilerler.

Neden Bu Eğitim?

☁️Hızlı Başlangıç

Hazır şablonlarla dakikalar içinde çalışan veri hattı elde edersiniz.

🛠️Beam Temeli

Kendi dönüşümlerinizi yazmak için gereken kavramları öğrenirsiniz.

🎯Gözlem Becerisi

Job grafiği ve metriklerden sorunu anlarsınız.

Anahtar Konular

dataflow girişapache beam pythondataflow şablonlarıpub/sub bigquerysunucusuz veri işlemegcp etlflex templatedataflow izlemeakış işleme girişgoogle cloud veri hattı

“Veri hattı, ilk çalışan sürümle değil, izlenebilir sürümle değer kazanır.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

Temel Python

Fonksiyon ve liste işleme düzeyinde Python bilgisi yeterlidir.

2

SQL Bilgisi

BigQuery sorgusu yazabilmek faydalıdır.

3

GCP Aşinalığı

Cloud Storage ve proje kavramları bilinmelidir.

4

Hesap

Dataflow API'si etkin Google Cloud projesi sağlanır.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı Dataflow'un işleyişini anlayıp hazır şablonlarla hat çalıştırabilir.

Modül 1

Dataflow Nedir

Beam ve Dataflow ilişkisi
Toplu ve akış işlem farkı
Yönetilen otomatik ölçekleme
Worker ve job kavramı
Dataflow ve Dataproc karşılaştırması
Kullanım senaryoları

Modül 2

Hazır Şablonlar

Text Files on Cloud Storage to BigQuery
Pub/Sub to BigQuery
Pub/Sub to Cloud Storage
JavaScript UDF ile dönüşüm
Şablon parametreleri
gcloud dataflow jobs run

Modül 3

Veri Kaynakları

Cloud Storage dosya biçimleri: CSV, JSON, Avro, Parquet
BigQuery tablo ve şema hazırlığı
Pub/Sub topic ve subscription
Servis hesabı izinleri
Bölge seçimi ve ağ
Kota ve limitler

Modül 4

Arayüz ve İzleme

Job grafiği ve aşama bilgisi
Worker günlükleri
Throughput ve gecikme metrikleri
Hata raporları
Job durdurma, drain ve cancel
Maliyet görünümü

Günün hedefiKatılımcı Beam Python SDK ile özel bir hat yazıp Dataflow'da çalıştırabilir.

Modül 1

Beam Temelleri

Pipeline ve PCollection
Map, FlatMap, Filter, ParDo
DoFn.process yazımı
Pipeline seçenekleri
Direct Runner ile yerel test
Dataflow Runner ile çalıştırma

Modül 2

Toplama İşlemleri

GroupByKey
CombinePerKey
Sayma ve ortalama
CoGroupByKey ile join
Yan girdi (side input)
Skew bilinci

Modül 3

Akış ve Pencereleme

Pub/Sub okuma
Fixed ve sliding pencere
Event time ve watermark
Trigger temelleri
Geç veri
Sonuçları BigQuery'e akış yazma

Modül 4

Hata Yönetimi

Tagged output ve dead-letter
Girdi doğrulama
Retry davranışı
Şema uyuşmazlıkları
Idempotent yazma
Hata ayıklama stratejileri

Günün hedefiKatılımcı hatlarını şablonlaştırıp izleyerek verimli çalıştırabilir.

Modül 1

Özel Şablon

Flex Template mantığı
Docker imajı ve spec dosyası
Parametre tanımlama
Artifact Registry
Şablonu gcloud ile çalıştırma
Sürüm yönetimi

Modül 2

Test

TestPipeline ve PAssert
Birim testi
Küçük veriyle yerel doğrulama
Entegrasyon testi
CI akışı
Hat güncelleme (update)

Modül 3

Performans ve Maliyet

Autoscaling ayarları
Worker makine tipi
Streaming Engine ve Shuffle
FlexRS
Hot key ve darboğaz
Gereksiz kaynak temizleme

Modül 4

Güvenlik ve Üretim

Servis hesabı ve en az yetki
Özel IP ve VPC
CMEK
Cloud Monitoring alarmları
Zamanlanmış tetikleme (Scheduler / Composer)
Üretime geçiş listesi

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

Şablon Kullanımı

Hazır Dataflow şablonlarını parametreleyip çalıştırabilirsiniz.

🧩

Beam Dönüşümleri

Map, ParDo ve Combine ile veri dönüştürebilirsiniz.

🚀

Akış Hattı

Pub/Sub'dan BigQuery'e akış hattı kurabilirsiniz.

🔍

Pencereleme

Fixed ve sliding pencerelerle toplama yapabilirsiniz.

🛡️

Hata Yönetimi

Dead-letter yaklaşımıyla hatalı kayıtları ayırabilirsiniz.

📊

Özel Şablon

Flex Template oluşturabilirsiniz.

🧪

Test

TestPipeline ile hat testleri yazabilirsiniz.

🏗️

İzleme

Job grafiği ve metriklerle sorun giderebilirsiniz.

Kimler İçin Uygundur?

Veri analistleri
ETL geliştiricileri
Google Cloud'da veri işleme boru hatlarına yeni başlayan mühendisler için uygundur

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

Veri analistleri, ETL geliştiricileri ve Google Cloud'da veri işleme boru hatlarına yeni başlayan mühendisler için uygundur.

SDPF eğitiminden farkı nedir?

Bu eğitim daha giriş düzeyindedir; state/timers gibi ileri konular için SDPF eğitimi önerilir. Eğitim sonunda Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir.

Hangi dil kullanılır?

Python Beam SDK ile örnekler yazılır.

Gerçek Dataflow job maliyeti?

Küçük veri setleri ve kısa işlerle laboratuvarlar düşük maliyetle yapılır.

Eğitim sonunda ne yapabilirim?

Basit bir toplu veya akış veri hattı yazıp Dataflow'da çalıştırıp izleyebilirsiniz.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

SERVERLESS DATA PROCESSING WITH DATAFLOW EĞİTİMİ

Eğitim Hakkında

Neden Bu Eğitim?

Anahtar Konular

Ön Koşullar

Eğitim İçeriği

Dataflow Nedir

Hazır Şablonlar

Veri Kaynakları

Arayüz ve İzleme

Beam Temelleri

Toplama İşlemleri

Akış ve Pencereleme

Hata Yönetimi

Özel Şablon

Test

Performans ve Maliyet

Güvenlik ve Üretim

Eğitim Kazanımları

Kimler İçin Uygundur?

Sıkça Sorulan Sorular

Sertifikalandırma

Eğitim Bilgileri

Bu Eğitimle Birlikte Tercih Edilenler

Serverless Solutions: Evolving a Serverless Mindset Eğitimi

Bulut Yerel Teknolojiler ile Platform Mühendisliği Eğitimi

CompTIA Cloud Essentials+: Cloud Native Apps & Cloud Data Analytics Eğitimi

Data Architecture Deep Dive - Microservices & Serverless Computing Eğitimi

Google Professional Cloud Architect: Serverless Compute Options Eğitimi