Optimizing a Google Data Warehouse

Eğitim Hakkında

Partitioning, Clustering ve Materialized view ekseninde uygulamalı Google Cloud eğitimi

BigQuery veri ambarını performans ve maliyet açısından optimize etmeyi anlatır. Bölümleme ve kümeleme, materialized view, katmanlı ELT ve MERGE, pencere fonksiyonlu sorgular, BI Engine ve önbellek, slot autoscaling, INFORMATION_SCHEMA ile ölçüm, bütçe ve erişim yönetimi uygulamalı işlenir. Her konu, gerçek proje senaryolarına dayanan yönlendirmeli laboratuvar çalışmalarıyla pekiştirilir.

Süre ve Format

2 Gün. Her gün dört modül; her modülde altı teknik başlık, BigQuery optimizasyon laboratuvarları ile desteklenir.

Seviye

İleri Seviye — Partitioning, Clustering, Materialized view ve BI Engine dahil uçtan uca teknik yelpaze

Öğrenme Metodu

Her modül BigQuery optimizasyon laboratuvarları üzerinde yönlendirmeli uygulamayla pekiştirilir; katılımcılar komut, sorgu ve yapılandırmaları adım adım kendi projelerinde çalıştırır.

Neden Bu Eğitim?

🎯Konuya Özgü İçerik

Partitioning, Clustering ve Materialized view gibi sahada karşılaşılan bileşenler komut ve yapılandırma düzeyinde ele alınır.

🛠️Uygulamalı Laboratuvar

Her modül BigQuery optimizasyon laboratuvarları ile pekiştirilir; katılımcılar öğrendiklerini kendi projelerinde çalıştırır.

📈Üretime Dönük Bakış

BI Engine, Slot autoscaling ve Query cache konularında performans, güvenlik ve maliyet ödünleşimleri gerçek senaryolarla tartışılır.

Anahtar Konular

GCP Data Engineer Pro: Optimizing a Google Data Warehouse EğitimiGCP Data Engineer Pro: Optimizing a Google Data WarehousePartitioningClusteringMaterialized viewBI EngineSlot autoscalingQuery cacheGoogle Cloud eğitimiGCP eğitimiDigital Vizyon Akademi

“Partitioning sorusuna cevap vermek için önce hangi servisin neden seçildiğini anlamak gerekir.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

SQL Temeli

SELECT, JOIN ve GROUP BY düzeyinde SQL bilgisi eğitimde yazılacak sorguları rahat takip etmenizi sağlar.

2

Veri Kavramları

ETL/ELT, veri ambarı ve batch ile streaming ayrımı hakkında temel bilgi önerilir.

3

Python Okuryazarlığı

Beam ve Spark örneklerini okuyabilecek kadar Python ya da Java bilgisi faydalıdır.

4

Laboratuvar Ortamı

Google Cloud hesabı, güncel tarayıcı ve Cloud Shell erişimi olan internet bağlantılı bir bilgisayar gerekir.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı, bigQuery Depolama Tasarımı: Bölümleme ve Kümeleme, bigQuery Sorgu Optimizasyonu ve Performans, veri Ambarı Tasarımı ve ELT Kalıpları ve bigQuery Standard SQL ve İleri Sorgular konularını laboratuvar senaryolarında uygulayarak günün çıktısını kendi ortamında yeniden üretebilir.

Modül 1

BigQuery Depolama Tasarımı: Bölümleme ve Kümeleme

Zaman birimi (time-unit), ingestion-time ve tamsayı aralığı (integer range) bölümleme
Clustering sütunlarının seçimi ve sıralamanın taranan veri miktarına etkisi
Partition expiration, require partition filter ve tablo yaşam döngüsü
Denormalizasyon, iç içe/tekrarlı şemalar ve star schema karşılaştırması
Materialized view'ler ve otomatik yenileme davranışı
Time travel, tablo snapshot'ları ve table clone ile veri koruma

Modül 2

BigQuery Sorgu Optimizasyonu ve Performans

Query execution graph (sorgu planı) okuma ve aşama (stage) bazlı darboğaz analizi
SELECT * kaçınma, erken filtreleme ve JOIN sıralama teknikleri
Önbellek (cache) davranışı, dry run ve maximum bytes billed sınırı
APPROX_COUNT_DISTINCT gibi yaklaşık fonksiyonlar ve veri çarpıklığı (skew) yönetimi
BI Engine rezervasyonu, search index ve vector index kullanımı
INFORMATION_SCHEMA.JOBS ile pahalı sorguların bulunması

Modül 3

Veri Ambarı Tasarımı ve ELT Kalıpları

Star schema, snowflake ve geniş (wide) tablo yaklaşımlarının BigQuery'deki yeri
Yavaş değişen boyutlar (SCD Tip 1/2) için MERGE ifadeleri
Staging, core ve mart katmanlı (medallion benzeri) veri ambarı mimarisi
Dataform ile SQL tabanlı ELT iş akışları ve bağımlılık yönetimi
Veri kalitesi kontrolleri (assertion) ve şema değişikliği yönetimi
Dataplex ile veri yönetişimi, lineage ve keşif

Modül 4

BigQuery Standard SQL ve İleri Sorgular

Standard SQL ile JOIN, GROUP BY, HAVING ve alt sorgu (subquery) kalıpları
ARRAY, STRUCT ve UNNEST ile iç içe/tekrarlı alanların sorgulanması
Pencere (window) fonksiyonları: ROW_NUMBER, LAG, SUM() OVER (PARTITION BY ...)
WITH ifadeleri (CTE), geçici tablolar ve scripting (DECLARE, LOOP, EXECUTE IMMEDIATE)
Kullanıcı tanımlı fonksiyonlar (SQL ve JavaScript UDF) ile procedure yazımı
Zamanlanmış sorgular (scheduled queries) ve parametreli sorgular

Günün hedefiKatılımcı, analitikte Ölçekleme Teknikleri, bigQuery İzleme ve Sorun Giderme, faturalandırma, Bütçe ve Maliyet Kontrolü ve bigQuery Yönetimi, Güvenlik ve Rezervasyonlar konularını laboratuvar senaryolarında uygulayarak günün çıktısını kendi ortamında yeniden üretebilir.

Modül 1

Analitikte Ölçekleme Teknikleri

BigQuery slot autoscaling ve rezervasyon boyutlandırma
Dataflow yatay ölçekleme, Streaming Engine ve worker tipi seçimi
Bigtable küme düğüm sayısı, replikasyon ve load test (Key Visualizer)
Spanner işlem birimi (processing unit) ve bölünme (split) davranışı
Ölçekleme sırasında maliyet izleme ve kota yönetimi
Darboğaz tespiti için Cloud Monitoring dashboard'ları

Modül 2

BigQuery İzleme ve Sorun Giderme

INFORMATION_SCHEMA.JOBS_BY_PROJECT ile iş geçmişi ve hata analizi
Slot kullanımı, bekleyen iş (pending) ve rezervasyon metriklerinin Cloud Monitoring'de izlenmesi
resourcesExceeded, quotaExceeded gibi hata kodlarının nedenleri ve çözümleri
Audit log (BigQueryAuditMetadata) ile kim-ne-zaman-ne kadar sorgusu
Bölüm ve kümeleme verimliliğinin INFORMATION_SCHEMA.PARTITIONS ile ölçülmesi
Pahalı sorgular için alert politikaları ve otomatik bildirim

Modül 3

Faturalandırma, Bütçe ve Maliyet Kontrolü

Billing hesabı yapısı, proje bağlantıları ve fatura rolleri
Bütçe (budget) tanımı, eşik uyarıları ve Pub/Sub ile otomatik aksiyon
Cloud Billing verisinin BigQuery'ye aktarılması ve maliyet sorguları
Sürekli kullanım indirimi, committed use discount (CUD) ve Spot fiyatlandırma
Etiket tabanlı maliyet dağıtımı ve showback/chargeback yaklaşımı
Recommender ile boşta kalan kaynak ve boyut önerilerinin değerlendirilmesi

Modül 4

BigQuery Yönetimi, Güvenlik ve Rezervasyonlar

Proje, dataset ve tablo düzeyinde IAM rolleri (dataViewer, jobUser, dataEditor)
Authorized view, authorized dataset ve row-level security erişim politikaları
Policy tag ile kolon düzeyi güvenlik ve Data Catalog / Dataplex entegrasyonu
Reservation, assignment ve slot taahhütleri (commitment) ile kapasite yönetimi
CMEK ile şifreleme ve audit log ile erişim izleme
Bütçe sınırları, custom quota ve kullanıcı bazlı sorgu kısıtlama

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

Depolama Tasarımı

Bölümleme ve kümeleme ile taranan veriyi azaltan tablo şemaları tasarlayabilirsiniz.

🔧

Sorgu Optimizasyonu

Sorgu planını okuyup maliyet ve süreyi düşüren optimizasyonlar uygulayabilirsiniz.

📊

Veri Ambarı Tasarımı

Katmanlı veri ambarı mimarisi kurup MERGE ve Dataform ile ELT akışları oluşturabilirsiniz.

🔐

BigQuery SQL

İç içe alanlar ve pencere fonksiyonlarıyla karmaşık BigQuery sorguları yazabilirsiniz.

🚀

Ölçekleme

Analitik platform bileşenlerini yük altında ölçekleyip izleyebilirsiniz.

🧩

BigQuery İzleme

INFORMATION_SCHEMA ve Cloud Monitoring ile BigQuery sorunlarını teşhis edebilirsiniz.

📈

Maliyet Kontrolü

Bütçe, etiket ve fatura dışa aktarımıyla maliyeti izleyip kontrol altına alabilirsiniz.

🛠️

BigQuery Yönetimi

Satır/kolon güvenliği ve slot rezervasyonlarıyla BigQuery ortamını yönetebilirsiniz.

Kimler İçin Uygundur?

Mevcut BigQuery ambarını iyileştirmek isteyen mühendisler
analistler içindir

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

Mevcut BigQuery ambarını iyileştirmek isteyen mühendisler ve analistler içindir.

Eğitime katılmak için hangi ön bilgi gerekir?

Temel SQL, veri modelleme ve Google Cloud servis adlarına aşinalık önerilir. Eksik konular eğitim sırasında tamamlanır.

GCP Data Engineer Pro: Optimizing a Google Data Warehouse eğitiminde hangi konular işlenir?

1. gün Depolama Tasarımı ve Sorgu Optimizasyonu; 2. gün Ölçekleme ve BigQuery İzleme. Ayrıca Partitioning, Clustering ve Materialized view uygulamalı çalışılır.

Eğitim sonunda sertifika veriliyor mu?

Eğitimi tamamlayan katılımcılara Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir. Google Cloud sertifikasyon sınavı ayrı bir süreçtir; sınav başvurusu ve ücreti ilgili kuruma aittir. Eğitim hazırlık içeriği sunar ve sınav sonucunu vaat etmez.

Eğitim nasıl yürütülür?

Eğitim 2 gündür ve her gün dört modülden oluşur. Anlatımlar BigQuery optimizasyon laboratuvarları ile birleşir; katılımcılar komut, sorgu ve yapılandırmaları kendi ortamlarında çalıştırır.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

GCP DATA ENGINEER PRO: OPTIMIZING A GOOGLE DATA WAREHOUSE EĞİTİMİ