Deeper through GCP Analytics & Scaling

Eğitim Hakkında

Slot autoscaling, Streaming Engine ve Bigtable Key Visualizer ekseninde uygulamalı Google Cloud eğitimi

GCP analitik platformunu ölçek ve performans açısından derinleştirir. BigQuery slot autoscaling ve sorgu planı, Dataflow Streaming Engine ve worker boyutlandırma, Bigtable row key ve Key Visualizer, Spanner bölünmeleri, BigLake veri gölü, Vertex AI entegrasyonu, izleme, maliyet ve güvenlik konuları ileri düzeyde ele alınır.

Süre ve Format

4 Gün. Her gün dört modül; her modülde altı teknik başlık, Ölçekleme ve yük testi laboratuvarları ile desteklenir.

Seviye

Uzman Seviye — Slot autoscaling, Streaming Engine, Bigtable Key Visualizer ve Spanner dahil uçtan uca teknik yelpaze

Öğrenme Metodu

Her modül Ölçekleme ve yük testi laboratuvarları üzerinde yönlendirmeli uygulamayla pekiştirilir; katılımcılar komut, sorgu ve yapılandırmaları adım adım kendi projelerinde çalıştırır.

Neden Bu Eğitim?

🎯Konuya Özgü İçerik

Slot autoscaling, Streaming Engine ve Bigtable Key Visualizer gibi sahada karşılaşılan bileşenler komut ve yapılandırma düzeyinde ele alınır.

🛠️Uygulamalı Laboratuvar

Her modül Ölçekleme ve yük testi laboratuvarları ile pekiştirilir; katılımcılar öğrendiklerini kendi projelerinde çalıştırır.

📈Üretime Dönük Bakış

Spanner, BigLake ve Vertex AI konularında performans, güvenlik ve maliyet ödünleşimleri gerçek senaryolarla tartışılır.

Anahtar Konular

Deeper through GCP Analytics & Scaling EğitimiDeeper through GCP Analytics & ScalingSlot autoscalingStreaming EngineBigtable Key VisualizerSpannerBigLakeVertex AIGoogle Cloud eğitimiGCP eğitimiDigital Vizyon Akademi

“Slot autoscaling doğru tasarlandığında veri, yük olmaktan çıkar ve karar hızına dönüşür.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

SQL Temeli

SELECT, JOIN ve GROUP BY düzeyinde SQL bilgisi eğitimde yazılacak sorguları rahat takip etmenizi sağlar.

2

Veri Kavramları

ETL/ELT, veri ambarı ve batch ile streaming ayrımı hakkında temel bilgi önerilir.

3

Python Okuryazarlığı

Beam ve Spark örneklerini okuyabilecek kadar Python ya da Java bilgisi faydalıdır.

4

Laboratuvar Ortamı

Google Cloud hesabı, güncel tarayıcı ve Cloud Shell erişimi olan internet bağlantılı bir bilgisayar gerekir.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı, bigQuery Mimarisi ve Temel Kavramlar, bigQuery Sorgu Optimizasyonu ve Performans, bigQuery Depolama Tasarımı: Bölümleme ve Kümeleme ve analitikte Ölçekleme Teknikleri konularını laboratuvar senaryolarında uygulayarak günün çıktısını kendi ortamında yeniden üretebilir.

Modül 1

BigQuery Mimarisi ve Temel Kavramlar

Dremel yürütme motoru, Colossus depolama ve Capacitor sütunlu format yapısı
Hesaplama ile depolamanın ayrılması ve slot kavramı
Dataset, table, view ve routine nesneleri ile proje/dataset/tablo adlandırması
On-demand fiyatlandırma ile BigQuery Editions (Standard, Enterprise, Enterprise Plus) farkı
bq CLI, Console ve istemci kütüphaneleri ile iş (job) çalıştırma
Sandbox kullanımı, ücretsiz katman limitleri ve kota yönetimi

Modül 2

BigQuery Sorgu Optimizasyonu ve Performans

Query execution graph (sorgu planı) okuma ve aşama (stage) bazlı darboğaz analizi
SELECT * kaçınma, erken filtreleme ve JOIN sıralama teknikleri
Önbellek (cache) davranışı, dry run ve maximum bytes billed sınırı
APPROX_COUNT_DISTINCT gibi yaklaşık fonksiyonlar ve veri çarpıklığı (skew) yönetimi
BI Engine rezervasyonu, search index ve vector index kullanımı
INFORMATION_SCHEMA.JOBS ile pahalı sorguların bulunması

Modül 3

BigQuery Depolama Tasarımı: Bölümleme ve Kümeleme

Zaman birimi (time-unit), ingestion-time ve tamsayı aralığı (integer range) bölümleme
Clustering sütunlarının seçimi ve sıralamanın taranan veri miktarına etkisi
Partition expiration, require partition filter ve tablo yaşam döngüsü
Denormalizasyon, iç içe/tekrarlı şemalar ve star schema karşılaştırması
Materialized view'ler ve otomatik yenileme davranışı
Time travel, tablo snapshot'ları ve table clone ile veri koruma

Modül 4

Analitikte Ölçekleme Teknikleri

BigQuery slot autoscaling ve rezervasyon boyutlandırma
Dataflow yatay ölçekleme, Streaming Engine ve worker tipi seçimi
Bigtable küme düğüm sayısı, replikasyon ve load test (Key Visualizer)
Spanner işlem birimi (processing unit) ve bölünme (split) davranışı
Ölçekleme sırasında maliyet izleme ve kota yönetimi
Darboğaz tespiti için Cloud Monitoring dashboard'ları

Günün hedefiKatılımcı, dataflow ve Apache Beam ile Veri İşleme, pub/Sub ile Mesajlaşma, akış (Streaming) Mimari Desenleri ve dataproc ile Hadoop ve Spark İşleme konularını laboratuvar senaryolarında uygulayarak günün çıktısını kendi ortamında yeniden üretebilir.

Modül 1

Dataflow ve Apache Beam ile Veri İşleme

Beam programlama modeli: Pipeline, PCollection, PTransform ve ParDo
GroupByKey, CombinePerKey, Side Input ve yan çıktılar (tagged outputs)
Windowing türleri: fixed, sliding, session ve global pencere
Event time, watermark, trigger ve geç gelen veri (allowed lateness) yönetimi
Dataflow Runner ile iş başlatma, autoscaling, Streaming Engine ve Shuffle servisi
Classic ve Flex Template ile yeniden kullanılabilir pipeline dağıtımı

Modül 2

Pub/Sub ile Mesajlaşma

Topic, subscription ve mesaj yaşam döngüsü; at-least-once teslimat semantiği
Pull, push ve BigQuery / Cloud Storage subscription türleri
Ack deadline, yeniden deneme politikası ve dead-letter topic yapılandırması
Message ordering key ve exactly-once delivery kullanım koşulları
Şema (Avro/Protobuf) doğrulama ve mesaj saklama (retention) / seek ile tekrar oynatma
Pub/Sub Lite ve Kafka karşılaştırması, kota ve ölçeklenme

Modül 3

Akış (Streaming) Mimari Desenleri

Lambda ve Kappa mimarilerinin karşılaştırması ve GCP karşılıkları
Pub/Sub → Dataflow → BigQuery / Bigtable referans mimarisi
Exactly-once işleme, idempotent yazma ve tekilleştirme (dedup) teknikleri
Geç gelen veri, çok bölgeli yedeklilik ve replay stratejileri
Gerçek zamanlı kullanıcı etkinliği, IoT telemetri ve log analitiği kullanım senaryoları
Gecikme, verim (throughput) ve maliyet ödünleşimleri

Modül 4

Dataproc ile Hadoop ve Spark İşleme

Dataproc küme mimarisi: master, worker ve preemptible/secondary worker düğümleri
Geçici (ephemeral) küme yaklaşımı ve Cloud Storage connector ile HDFS yerine GCS
Spark job gönderme, PySpark ve Spark SQL ile veri dönüşümü
Autoscaling politikaları ve initialization action ile özelleştirme
Dataproc Serverless for Spark ve Dataproc Metastore
Workflow template ile zincirli iş tanımı ve Hadoop iş yüklerinin GCP'ye taşınması

Günün hedefiKatılımcı, yarı Yapılandırılmış Veri: Firestore, Bigtable ve Memorystore, oLTP Depolama: Cloud SQL, AlloyDB ve Spanner, veri Gölü ve BigLake Mimarisi ve vertex AI ve Makine Öğrenmesi Boru Hatları konularını laboratuvar senaryolarında uygulayarak günün çıktısını kendi ortamında yeniden üretebilir.

Modül 1

Yarı Yapılandırılmış Veri: Firestore, Bigtable ve Memorystore

Firestore belge/koleksiyon modeli, dizinler ve güvenlik kuralları
Bigtable düğüm, tablet ve satır anahtarı (row key) tasarımı; hotspot önleme
Bigtable column family, garbage collection ve replikasyon profilleri
JSON verinin BigQuery JSON tipi ile saklanması ve JSON_VALUE / JSON_QUERY sorguları
Memorystore for Redis ve Memcached ile önbellekleme
Veri modeli seçimi: geniş sütunlu, belge ve anahtar-değer kullanım senaryoları

Modül 2

OLTP Depolama: Cloud SQL, AlloyDB ve Spanner

Cloud SQL (MySQL, PostgreSQL, SQL Server) yüksek erişilebilirlik ve okuma kopyaları
Otomatik yedekleme, point-in-time recovery ve bakım pencereleri
AlloyDB mimarisi, kolonar motor ve okuma havuzu
Cloud Spanner: global tutarlılık, TrueTime, interleaved tablo ve birincil anahtar tasarımı
Bağlantı yöntemleri: Cloud SQL Auth Proxy, private IP ve bağlantı havuzu
İş yüküne göre veritabanı seçim ölçütleri ve maliyet karşılaştırması

Modül 3

Veri Gölü ve BigLake Mimarisi

Cloud Storage üzerinde Parquet / ORC veri gölü düzeni ve bölüm yapısı
BigLake tabloları ile ince taneli erişim kontrolü
Apache Iceberg tabloları ve metadata yönetimi
Dataproc Metastore ve BigQuery arasında şema paylaşımı
Veri gölü ile veri ambarı arasında seçim ölçütleri
Veri sürümleme ve yaşam döngüsü politikaları

Modül 4

Vertex AI ve Makine Öğrenmesi Boru Hatları

Vertex AI Workbench ve özel eğitim (custom training) işleri
AutoML ve hazır modeller ile hızlı prototipleme
Vertex AI Pipelines (Kubeflow) ile tekrarlanabilir ML iş akışı
Feature Store ve Model Registry kullanımı
Online endpoint, batch prediction ve trafik bölme
Model izleme: veri kayması (drift) ve çarpıklık (skew) tespiti

Günün hedefiKatılımcı, cloud Monitoring, Logging ve Uyarı Yönetimi, bigQuery İzleme ve Sorun Giderme, faturalandırma, Bütçe ve Maliyet Kontrolü ve veri Güvenliği ve Gizliliği konularını laboratuvar senaryolarında uygulayarak günün çıktısını kendi ortamında yeniden üretebilir.

Modül 1

Cloud Monitoring, Logging ve Uyarı Yönetimi

Ops Agent kurulumu ve metrik/log toplama yapılandırması
Cloud Monitoring dashboard, MQL/PromQL sorguları ve uptime check
Alerting policy, bildirim kanalları ve SLO / hata bütçesi izleme
Cloud Logging sorgu dili, log-based metric ve log bucket saklama süreleri
Log Router sink'leri ile BigQuery, Cloud Storage ve Pub/Sub'a log aktarımı
Error Reporting, Cloud Trace ve Cloud Profiler ile uygulama teşhisi

Modül 2

BigQuery İzleme ve Sorun Giderme

INFORMATION_SCHEMA.JOBS_BY_PROJECT ile iş geçmişi ve hata analizi
Slot kullanımı, bekleyen iş (pending) ve rezervasyon metriklerinin Cloud Monitoring'de izlenmesi
resourcesExceeded, quotaExceeded gibi hata kodlarının nedenleri ve çözümleri
Audit log (BigQueryAuditMetadata) ile kim-ne-zaman-ne kadar sorgusu
Bölüm ve kümeleme verimliliğinin INFORMATION_SCHEMA.PARTITIONS ile ölçülmesi
Pahalı sorgular için alert politikaları ve otomatik bildirim

Modül 3

Faturalandırma, Bütçe ve Maliyet Kontrolü

Billing hesabı yapısı, proje bağlantıları ve fatura rolleri
Bütçe (budget) tanımı, eşik uyarıları ve Pub/Sub ile otomatik aksiyon
Cloud Billing verisinin BigQuery'ye aktarılması ve maliyet sorguları
Sürekli kullanım indirimi, committed use discount (CUD) ve Spot fiyatlandırma
Etiket tabanlı maliyet dağıtımı ve showback/chargeback yaklaşımı
Recommender ile boşta kalan kaynak ve boyut önerilerinin değerlendirilmesi

Modül 4

Veri Güvenliği ve Gizliliği

Cloud KMS, CMEK ve anahtar döndürme (key rotation) politikaları
VPC Service Controls ile veri sızıntısı çevresi (perimeter) tanımı
Sensitive Data Protection: inspect, de-identify ve tokenization
Secret Manager ile parola ve anahtarların saklanması
Veri kalıcılığı, yedekleme ve KVKK/GDPR kapsamında veri konumu kararları
Audit log ve Security Command Center bulgularının izlenmesi

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

BigQuery Mimarisi

BigQuery'nin depolama-hesaplama ayrımını ve slot modelini açıklayabilirsiniz.

🔧

Depolama Tasarımı

Bölümleme ve kümeleme ile taranan veriyi azaltan tablo şemaları tasarlayabilirsiniz.

📊

Dataflow ve Beam

Beam ile batch ve streaming pipeline yazıp Dataflow üzerinde çalıştırabilirsiniz.

🔐

Streaming Mimarisi

Gerçek zamanlı veri akışı için uçtan uca GCP mimarisi tasarlayabilirsiniz.

🚀

NoSQL Depolama

Bigtable satır anahtarı ve Firestore modelini erişim desenine göre tasarlayabilirsiniz.

🧩

Veri Gölü

BigLake ve Iceberg ile veri gölü ile ambarı birlikte kullanabilirsiniz.

📈

İzleme ve Loglama

Metrik, log ve uyarı politikalarıyla bulut kaynaklarını izleyebilir ve sorun giderebilirsiniz.

🛠️

Maliyet Kontrolü

Bütçe, etiket ve fatura dışa aktarımıyla maliyeti izleyip kontrol altına alabilirsiniz.

Kimler İçin Uygundur?

Üretimde analitik iş yükleri işleten kıdemli veri mühendisleri
bulut mimarları içindir

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

Üretimde analitik iş yükleri işleten kıdemli veri mühendisleri ve bulut mimarları içindir.

Eğitime katılmak için hangi ön bilgi gerekir?

Temel SQL ve veri kavramları bilgisi önerilir; Beam ve Spark örnekleri için Python ya da Java okuyabilmek faydalıdır. Google Cloud ortamı laboratuvarda birlikte kurulur.

Deeper through GCP Analytics & Scaling eğitiminde hangi konular işlenir?

1. gün BigQuery Mimarisi ve Sorgu Optimizasyonu; 2. gün Dataflow ve Beam ve Pub/Sub Mesajlaşma; 3. gün NoSQL Depolama ve OLTP Veritabanları; 4. gün İzleme ve Loglama ve BigQuery İzleme. Ayrıca Slot autoscaling, Streaming Engine ve Bigtable Key Visualizer uygulamalı çalışılır.

Eğitim sonunda sertifika veriliyor mu?

Eğitimi tamamlayan katılımcılara Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir.

Eğitim nasıl yürütülür?

Eğitim 4 gündür ve her gün dört modülden oluşur. Anlatımlar Ölçekleme ve yük testi laboratuvarları ile birleşir; katılımcılar komut, sorgu ve yapılandırmaları kendi ortamlarında çalıştırır.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

DEEPER THROUGH GCP ANALYTICS & SCALING EĞİTİMİ

Eğitim Hakkında

Neden Bu Eğitim?

Anahtar Konular

Ön Koşullar

Eğitim İçeriği

BigQuery Mimarisi ve Temel Kavramlar

BigQuery Sorgu Optimizasyonu ve Performans

BigQuery Depolama Tasarımı: Bölümleme ve Kümeleme

Analitikte Ölçekleme Teknikleri

Dataflow ve Apache Beam ile Veri İşleme

Pub/Sub ile Mesajlaşma

Akış (Streaming) Mimari Desenleri

Dataproc ile Hadoop ve Spark İşleme

Yarı Yapılandırılmış Veri: Firestore, Bigtable ve Memorystore

OLTP Depolama: Cloud SQL, AlloyDB ve Spanner

Veri Gölü ve BigLake Mimarisi

Vertex AI ve Makine Öğrenmesi Boru Hatları

Cloud Monitoring, Logging ve Uyarı Yönetimi

BigQuery İzleme ve Sorun Giderme

Faturalandırma, Bütçe ve Maliyet Kontrolü

Veri Güvenliği ve Gizliliği

Eğitim Kazanımları

Kimler İçin Uygundur?

Sıkça Sorulan Sorular

Sertifikalandırma

Eğitim Bilgileri

Bu Eğitimle Birlikte Tercih Edilenler

GCP Data Engineer Pro: Becoming a Google Cloud Data Engineer Eğitimi

GCP Data Engineer Pro: BigQuery Data Warehouse Eğitimi

GCP Data Engineer Pro: Building Robust Data Structures Eğitimi

GCP Data Engineer Pro: Creating a Pipeline of Services Eğitimi

GCP Data Engineer Pro: Data Migrations Eğitimi