Data Warehousing with BigQuery (DWBQ-SDQA)

Eğitim Hakkında

Storage Write API, BigLake ve Dataplex ekseninde uygulamalı Google Cloud eğitimi

Depolama tasarımı, sorgu optimizasyonu ve yönetim ekseninde dört günlük derin BigQuery eğitimidir. Veri yükleme yöntemleri, şema tasarımı, bölümleme/kümeleme, Dataform ve Dataplex, BigLake göl entegrasyonu, sorgu planı analizi, slot ölçekleme, policy tag ile kolon güvenliği ve BigQuery ML uygulamalı laboratuvarlarla işlenir.

Süre ve Format

4 Gün. Her gün dört modül; her modülde altı teknik başlık, BigQuery, Dataplex ve Cloud Monitoring laboratuvarları ile desteklenir.

Seviye

İleri Seviye — Storage Write API, BigLake, Dataplex ve Query plan dahil uçtan uca teknik yelpaze

Öğrenme Metodu

Her modül BigQuery, Dataplex ve Cloud Monitoring laboratuvarları üzerinde yönlendirmeli uygulamayla pekiştirilir; katılımcılar komut, sorgu ve yapılandırmaları adım adım kendi projelerinde çalıştırır.

Neden Bu Eğitim?

🎯Konuya Özgü İçerik

Storage Write API, BigLake ve Dataplex gibi sahada karşılaşılan bileşenler komut ve yapılandırma düzeyinde ele alınır.

🛠️Uygulamalı Laboratuvar

Her modül BigQuery, Dataplex ve Cloud Monitoring laboratuvarları ile pekiştirilir; katılımcılar öğrendiklerini kendi projelerinde çalıştırır.

📈Üretime Dönük Bakış

Query plan, Reservation ve Policy tag konularında performans, güvenlik ve maliyet ödünleşimleri gerçek senaryolarla tartışılır.

Anahtar Konular

Data Warehousing with BigQuery (DWBQ-SDQA) EğitimiData Warehousing with BigQuery (DWBQ-SDQA)Storage Write APIBigLakeDataplexQuery planReservationPolicy tagGoogle Cloud eğitimiGCP eğitimiDigital Vizyon Akademi

“Storage Write API doğru tasarlandığında veri, yük olmaktan çıkar ve karar hızına dönüşür.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

SQL Temeli

SELECT, JOIN ve GROUP BY düzeyinde SQL bilgisi eğitimde yazılacak sorguları rahat takip etmenizi sağlar.

2

Veri Kavramları

ETL/ELT, veri ambarı ve batch ile streaming ayrımı hakkında temel bilgi önerilir.

3

Python Okuryazarlığı

Beam ve Spark örneklerini okuyabilecek kadar Python ya da Java bilgisi faydalıdır.

4

Laboratuvar Ortamı

Google Cloud hesabı, güncel tarayıcı ve Cloud Shell erişimi olan internet bağlantılı bir bilgisayar gerekir.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı, bigQuery Mimarisi ve Temel Kavramlar, bigQuery Standard SQL ve İleri Sorgular, bigQuery'ye Veri Yükleme ve Dış Kaynaklar ve veri Yapıları ve Şema Tasarımı konularını laboratuvar senaryolarında uygulayarak günün çıktısını kendi ortamında yeniden üretebilir.

Modül 1

BigQuery Mimarisi ve Temel Kavramlar

Dremel yürütme motoru, Colossus depolama ve Capacitor sütunlu format yapısı
Hesaplama ile depolamanın ayrılması ve slot kavramı
Dataset, table, view ve routine nesneleri ile proje/dataset/tablo adlandırması
On-demand fiyatlandırma ile BigQuery Editions (Standard, Enterprise, Enterprise Plus) farkı
bq CLI, Console ve istemci kütüphaneleri ile iş (job) çalıştırma
Sandbox kullanımı, ücretsiz katman limitleri ve kota yönetimi

Modül 2

BigQuery Standard SQL ve İleri Sorgular

Standard SQL ile JOIN, GROUP BY, HAVING ve alt sorgu (subquery) kalıpları
ARRAY, STRUCT ve UNNEST ile iç içe/tekrarlı alanların sorgulanması
Pencere (window) fonksiyonları: ROW_NUMBER, LAG, SUM() OVER (PARTITION BY ...)
WITH ifadeleri (CTE), geçici tablolar ve scripting (DECLARE, LOOP, EXECUTE IMMEDIATE)
Kullanıcı tanımlı fonksiyonlar (SQL ve JavaScript UDF) ile procedure yazımı
Zamanlanmış sorgular (scheduled queries) ve parametreli sorgular

Modül 3

BigQuery'ye Veri Yükleme ve Dış Kaynaklar

Load job ile CSV, JSON, Avro, Parquet ve ORC dosyalarının yüklenmesi
Storage Write API ve eski streaming insert yöntemlerinin karşılaştırması
Harici tablolar (external table), BigLake tabloları ve Hive bölümlü veri
Federated query ile Cloud SQL, Spanner ve Bigtable kaynaklarına sorgu
BigQuery Data Transfer Service ile SaaS ve Cloud Storage zamanlanmış aktarımı
Şema otomatik algılama, şema evrimi ve hatalı kayıt yönetimi (max bad records)

Modül 4

Veri Yapıları ve Şema Tasarımı

Yapılandırılmış, yarı yapılandırılmış ve yapılandırılmamış veri ayrımı
Normalizasyon ile denormalizasyon kararları ve OLTP / OLAP farkı
Bigtable, BigQuery ve Spanner için şema tasarım kalıpları
Veri türleri, NULL yönetimi ve ARRAY / STRUCT kullanımı
Erişim desenine göre anahtar ve bölüm seçimi
Şema evrimi ve geriye dönük uyumluluk

Günün hedefiKatılımcı, bigQuery Depolama Tasarımı: Bölümleme ve Kümeleme, veri Ambarı Tasarımı ve ELT Kalıpları, data Fusion, Dataprep ve Dataplex ve veri Gölü ve BigLake Mimarisi konularını laboratuvar senaryolarında uygulayarak günün çıktısını kendi ortamında yeniden üretebilir.

Modül 1

BigQuery Depolama Tasarımı: Bölümleme ve Kümeleme

Zaman birimi (time-unit), ingestion-time ve tamsayı aralığı (integer range) bölümleme
Clustering sütunlarının seçimi ve sıralamanın taranan veri miktarına etkisi
Partition expiration, require partition filter ve tablo yaşam döngüsü
Denormalizasyon, iç içe/tekrarlı şemalar ve star schema karşılaştırması
Materialized view'ler ve otomatik yenileme davranışı
Time travel, tablo snapshot'ları ve table clone ile veri koruma

Modül 2

Veri Ambarı Tasarımı ve ELT Kalıpları

Star schema, snowflake ve geniş (wide) tablo yaklaşımlarının BigQuery'deki yeri
Yavaş değişen boyutlar (SCD Tip 1/2) için MERGE ifadeleri
Staging, core ve mart katmanlı (medallion benzeri) veri ambarı mimarisi
Dataform ile SQL tabanlı ELT iş akışları ve bağımlılık yönetimi
Veri kalitesi kontrolleri (assertion) ve şema değişikliği yönetimi
Dataplex ile veri yönetişimi, lineage ve keşif

Modül 3

Data Fusion, Dataprep ve Dataplex

Cloud Data Fusion'da görsel pipeline tasarımı ve plugin yapısı
Wrangler ile veri temizleme ve dönüştürme adımları
Dataprep (Trifacta) ile hazırlık recipe'leri
Dataplex lake, zone ve asset kavramları ile veri yönetişimi
Veri kalitesi görevleri, lineage ve metadata yönetimi
Araç seçimi: kod gerektirmeyen ETL ile Dataflow / Dataproc karşılaştırması

Modül 4

Veri Gölü ve BigLake Mimarisi

Cloud Storage üzerinde Parquet / ORC veri gölü düzeni ve bölüm yapısı
BigLake tabloları ile ince taneli erişim kontrolü
Apache Iceberg tabloları ve metadata yönetimi
Dataproc Metastore ve BigQuery arasında şema paylaşımı
Veri gölü ile veri ambarı arasında seçim ölçütleri
Veri sürümleme ve yaşam döngüsü politikaları

Günün hedefiKatılımcı, bigQuery Sorgu Optimizasyonu ve Performans, bigQuery İzleme ve Sorun Giderme, analitikte Ölçekleme Teknikleri ve looker Studio ve Looker ile Raporlama konularını laboratuvar senaryolarında uygulayarak günün çıktısını kendi ortamında yeniden üretebilir.

Modül 1

BigQuery Sorgu Optimizasyonu ve Performans

Query execution graph (sorgu planı) okuma ve aşama (stage) bazlı darboğaz analizi
SELECT * kaçınma, erken filtreleme ve JOIN sıralama teknikleri
Önbellek (cache) davranışı, dry run ve maximum bytes billed sınırı
APPROX_COUNT_DISTINCT gibi yaklaşık fonksiyonlar ve veri çarpıklığı (skew) yönetimi
BI Engine rezervasyonu, search index ve vector index kullanımı
INFORMATION_SCHEMA.JOBS ile pahalı sorguların bulunması

Modül 2

BigQuery İzleme ve Sorun Giderme

INFORMATION_SCHEMA.JOBS_BY_PROJECT ile iş geçmişi ve hata analizi
Slot kullanımı, bekleyen iş (pending) ve rezervasyon metriklerinin Cloud Monitoring'de izlenmesi
resourcesExceeded, quotaExceeded gibi hata kodlarının nedenleri ve çözümleri
Audit log (BigQueryAuditMetadata) ile kim-ne-zaman-ne kadar sorgusu
Bölüm ve kümeleme verimliliğinin INFORMATION_SCHEMA.PARTITIONS ile ölçülmesi
Pahalı sorgular için alert politikaları ve otomatik bildirim

Modül 3

Analitikte Ölçekleme Teknikleri

BigQuery slot autoscaling ve rezervasyon boyutlandırma
Dataflow yatay ölçekleme, Streaming Engine ve worker tipi seçimi
Bigtable küme düğüm sayısı, replikasyon ve load test (Key Visualizer)
Spanner işlem birimi (processing unit) ve bölünme (split) davranışı
Ölçekleme sırasında maliyet izleme ve kota yönetimi
Darboğaz tespiti için Cloud Monitoring dashboard'ları

Modül 4

Looker Studio ve Looker ile Raporlama

Looker Studio'da BigQuery veri kaynağı bağlama ve veri yenileme ayarları
Hesaplanmış alanlar, parametreler ve karışık (blended) veri kaynakları
Etkileşimli dashboard tasarımı, filtre kontrolleri ve paylaşım izinleri
Looker LookML ile boyut (dimension) ve ölçü (measure) modelleme
BI Engine ile dashboard performansını artırma
Bağlı Sheets ile BigQuery verisinin analiz edilmesi

Günün hedefiKatılımcı, bigQuery Yönetimi, Güvenlik ve Rezervasyonlar, veri Güvenliği ve Gizliliği, faturalandırma, Bütçe ve Maliyet Kontrolü ve bigQuery ML ile Model Geliştirme konularını laboratuvar senaryolarında uygulayarak günün çıktısını kendi ortamında yeniden üretebilir.

Modül 1

BigQuery Yönetimi, Güvenlik ve Rezervasyonlar

Proje, dataset ve tablo düzeyinde IAM rolleri (dataViewer, jobUser, dataEditor)
Authorized view, authorized dataset ve row-level security erişim politikaları
Policy tag ile kolon düzeyi güvenlik ve Data Catalog / Dataplex entegrasyonu
Reservation, assignment ve slot taahhütleri (commitment) ile kapasite yönetimi
CMEK ile şifreleme ve audit log ile erişim izleme
Bütçe sınırları, custom quota ve kullanıcı bazlı sorgu kısıtlama

Modül 2

Veri Güvenliği ve Gizliliği

Cloud KMS, CMEK ve anahtar döndürme (key rotation) politikaları
VPC Service Controls ile veri sızıntısı çevresi (perimeter) tanımı
Sensitive Data Protection: inspect, de-identify ve tokenization
Secret Manager ile parola ve anahtarların saklanması
Veri kalıcılığı, yedekleme ve KVKK/GDPR kapsamında veri konumu kararları
Audit log ve Security Command Center bulgularının izlenmesi

Modül 3

Faturalandırma, Bütçe ve Maliyet Kontrolü

Billing hesabı yapısı, proje bağlantıları ve fatura rolleri
Bütçe (budget) tanımı, eşik uyarıları ve Pub/Sub ile otomatik aksiyon
Cloud Billing verisinin BigQuery'ye aktarılması ve maliyet sorguları
Sürekli kullanım indirimi, committed use discount (CUD) ve Spot fiyatlandırma
Etiket tabanlı maliyet dağıtımı ve showback/chargeback yaklaşımı
Recommender ile boşta kalan kaynak ve boyut önerilerinin değerlendirilmesi

Modül 4

BigQuery ML ile Model Geliştirme

CREATE MODEL ile lineer/lojistik regresyon, k-means ve boosted tree modelleri
ML.EVALUATE, ML.PREDICT ve ML.EXPLAIN_PREDICT çıktılarının yorumlanması
Özellik mühendisliği için TRANSFORM ve ML.FEATURE_CROSS kullanımı
Hiperparametre ayarı ve eğitim/doğrulama veri bölme stratejileri
ARIMA_PLUS ile zaman serisi tahmini
Eğitilmiş modelin Vertex AI Model Registry'ye aktarılması

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

BigQuery Mimarisi

BigQuery'nin depolama-hesaplama ayrımını ve slot modelini açıklayabilirsiniz.

🔧

Veri Yükleme

Batch ve streaming yöntemleriyle BigQuery'ye farklı formatlarda veri aktarabilirsiniz.

📊

Depolama Tasarımı

Bölümleme ve kümeleme ile taranan veriyi azaltan tablo şemaları tasarlayabilirsiniz.

🔐

Görsel ETL Araçları

Data Fusion ve Dataplex ile kod gerektirmeyen veri hazırlama akışları kurabilirsiniz.

🚀

Sorgu Optimizasyonu

Sorgu planını okuyup maliyet ve süreyi düşüren optimizasyonlar uygulayabilirsiniz.

🧩

Ölçekleme

Analitik platform bileşenlerini yük altında ölçekleyip izleyebilirsiniz.

📈

BigQuery Yönetimi

Satır/kolon güvenliği ve slot rezervasyonlarıyla BigQuery ortamını yönetebilirsiniz.

🛠️

Maliyet Kontrolü

Bütçe, etiket ve fatura dışa aktarımıyla maliyeti izleyip kontrol altına alabilirsiniz.

Kimler İçin Uygundur?

Büyük ölçekli BigQuery ortamı işleten veri mühendisleri
ambar yöneticileri içindir

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

Büyük ölçekli BigQuery ortamı işleten veri mühendisleri ve ambar yöneticileri içindir.

Eğitime katılmak için hangi ön bilgi gerekir?

Temel SQL ve veri kavramları bilgisi önerilir; Beam ve Spark örnekleri için Python ya da Java okuyabilmek faydalıdır. Google Cloud ortamı laboratuvarda birlikte kurulur.

Data Warehousing with BigQuery (DWBQ-SDQA) eğitiminde hangi konular işlenir?

1. gün BigQuery Mimarisi ve BigQuery SQL; 2. gün Depolama Tasarımı ve Veri Ambarı Tasarımı; 3. gün Sorgu Optimizasyonu ve BigQuery İzleme; 4. gün BigQuery Yönetimi ve Veri Güvenliği. Ayrıca Storage Write API, BigLake ve Dataplex uygulamalı çalışılır.

Eğitim sonunda sertifika veriliyor mu?

Eğitimi tamamlayan katılımcılara Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir.

Eğitim nasıl yürütülür?

Eğitim 4 gündür ve her gün dört modülden oluşur. Anlatımlar BigQuery, Dataplex ve Cloud Monitoring laboratuvarları ile birleşir; katılımcılar komut, sorgu ve yapılandırmaları kendi ortamlarında çalıştırır.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

DATA WAREHOUSING WITH BIGQUERY: STORAGE DESIGN, QUERY OPTIMIZATION, AND ADMINISTRATION (DWBQ-SDQA) EĞİTİMİ

Eğitim Hakkında

Neden Bu Eğitim?

Anahtar Konular

Ön Koşullar

Eğitim İçeriği

BigQuery Mimarisi ve Temel Kavramlar

BigQuery Standard SQL ve İleri Sorgular

BigQuery'ye Veri Yükleme ve Dış Kaynaklar

Veri Yapıları ve Şema Tasarımı

BigQuery Depolama Tasarımı: Bölümleme ve Kümeleme

Veri Ambarı Tasarımı ve ELT Kalıpları

Data Fusion, Dataprep ve Dataplex

Veri Gölü ve BigLake Mimarisi

BigQuery Sorgu Optimizasyonu ve Performans

BigQuery İzleme ve Sorun Giderme

Analitikte Ölçekleme Teknikleri

Looker Studio ve Looker ile Raporlama

BigQuery Yönetimi, Güvenlik ve Rezervasyonlar

Veri Güvenliği ve Gizliliği

Faturalandırma, Bütçe ve Maliyet Kontrolü

BigQuery ML ile Model Geliştirme

Eğitim Kazanımları

Kimler İçin Uygundur?

Sıkça Sorulan Sorular

Sertifikalandırma

Eğitim Bilgileri

Bu Eğitimle Birlikte Tercih Edilenler

BigQuery for Data Analysts Eğitimi

Build Batch Data Pipelines on Google Cloud Eğitimi

Build Data Lakes and Warehouses on Google Cloud Eğitimi

Build Production-Ready Agents on Google Cloud (BPRAGC) Eğitimi

Build Streaming Data Pipelines on Google Cloud Eğitimi