Büyük Veri Setleri için BigQuery Eğitimi

Eğitim Hakkında

Büyük veri setlerinde sorgu planı analizi, tablo tasarımı ve slot/maliyet optimizasyonunu uygulamalı biçimde ele alan program

Büyük Veri Setleri için BigQuery Optimizasyonları eğitimi; büyük veri setlerinde sorgu planı analizi, tablo tasarımı ve slot/maliyet optimizasyonunu laboratuvar çalışmalarıyla ele alır. Program 3 günde şu başlıklarla ilerler: BigQuery Mimarisi ve Veri Depolama; Standart SQL ile Veri Analizi; Performans, Maliyet ve Optimizasyon. Her modülde komut, yapılandırma ve sorun giderme adımları uygulanır.

Süre ve Format

3 Gün. Her gün dört modül; günlük akış: BigQuery Mimarisi ve Veri Depolama → Standart SQL ile Veri Analizi → Performans, Maliyet ve Optimizasyon.

Seviye

İleri Seviye — Dremel, Capacitor, dataset, partition ve clustering; Sorgu yazımı, pencere fonksiyonları ve karmaşık tipler; Sorgu planı, slot kullanımı, materialized view ve BI Engine

Öğrenme Metodu

Her konu, gerçek açık veri setleri ve örnek e-ticaret/log tabloları üzerinde BigQuery konsolu, bq CLI ve SQL çalışma alanında canlı sorgularla işlenir; maliyet ve bytes processed her adımda gözlenir.

Neden Bu Eğitim?

⚡Sorgu Performansı

Partition, clustering ve sorgu planı okuma ile büyük tablolarda sorgu süresini ve maliyetini ölçülebilir biçimde düşürürsünüz.

🔌Veri Entegrasyonu

Batch, streaming ve federasyon yöntemlerini veri hacmi ve gecikme ihtiyacına göre seçmeyi öğrenirsiniz.

💲Maliyet Kontrolü

On-demand, Editions ve slot rezervasyonu arasında bilinçli seçim yaparak faturayı yönetirsiniz.

Anahtar Konular

büyük veri setleri için bigquery optimizasyonları eğitimibigquery eğitimigoogle bigquerybigquery sqlbigquery optimizasyonbigquery partition clusteringgoogle cloud veri ambarıbigquery mlbigquery slotbigquery kursu

“Doğru tasarlanmış bir tablo, en hızlı sorgudan bile daha ucuzdur.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

SQL Temeli

SELECT, JOIN ve GROUP BY seviyesinde SQL bilgisi önerilir.

2

Veri Kavramları

Tablo, şema, ETL ve veri ambarı kavramlarına genel aşinalık yeterlidir.

3

Google Hesabı

Google Cloud erişimi için e-posta hesabı gerekir; lab projesi eğitimde sağlanır.

4

Tarayıcı Erişimi

BigQuery konsoluna ve Cloud Shell'e erişen güncel bir tarayıcı gerekir.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı BigQuery'nin depolama ve hesaplama ayrımını açıklar, tabloları partition ve clustering ile tasarlar.

Modül 1

BigQuery Mimarisi

Depolama ve hesaplama ayrımı, Dremel ve Colossus
Capacitor kolonar format ve sıkıştırma
Project, dataset, table ve view hiyerarşisi
Slot kavramı ve on-demand ile capacity fiyatlandırma
Konsol, bq CLI ve istemci kütüphaneleri
Bölge (location) seçimi ve dataset taşıma kısıtları

Modül 2

Tablo Tasarımı

Native, external ve temporary tablo türleri
Tarih/zaman bazlı ve integer-range partitioning
Clustering kolonları ve seçim kriterleri
require_partition_filter ve partition expiration
Time travel (7 gün) ve fail-safe penceresi
Tablo snapshot ve clone

Modül 3

Veri Tipleri ve Şema

STRUCT ve ARRAY ile iç içe (nested/repeated) şema
Denormalizasyonun sorgu maliyetine etkisi
NUMERIC, BIGNUMERIC, GEOGRAPHY ve JSON tipleri
Şema evrimi: kolon ekleme ve gevşetme
Tablo ve kolon açıklamaları, etiketler
INFORMATION_SCHEMA ile meta veri sorgulama

Modül 4

Depolama Stratejileri

Aktif ve uzun süreli depolama ücretlendirmesi
Veri yaşam döngüsü: expiration ve arşivleme
BigQuery ile Cloud Storage data lake ayrımı
Biglake ve Iceberg tablolar
Fiziksel ve mantıksal depolama faturalandırması
Çok bölgeli (US/EU) dataset yerleşimi

Günün hedefiKatılımcı BigQuery Standard SQL ile birleştirme, pencere fonksiyonu ve nested veri sorguları yazar.

Modül 1

Standart SQL Temelleri

SELECT, WHERE, GROUP BY, HAVING ve QUALIFY
Tarih ve zaman fonksiyonları: DATE_TRUNC, TIMESTAMP_DIFF
String ve REGEXP fonksiyonları
SAFE_ fonksiyonları ve hata yönetimi
Wildcard tablolar ve _TABLE_SUFFIX
Parametreli sorgular

Modül 2

Join ve Küme İşlemleri

INNER, LEFT, CROSS JOIN ve UNNEST ile join
UNION ALL / DISTINCT, INTERSECT, EXCEPT
Yaklaşık fonksiyonlar: APPROX_COUNT_DISTINCT
Join sıralaması ve geniş tabloların önce filtrelenmesi
Skew (veri çarpıklığı) sorunları
Self join yerine pencere fonksiyonu

Modül 3

Pencere ve Analitik Fonksiyonlar

OVER, PARTITION BY ve ORDER BY
ROW_NUMBER, RANK, DENSE_RANK
LAG/LEAD ile dönemsel karşılaştırma
Hareketli ortalama için frame (ROWS BETWEEN)
NTILE ve PERCENTILE_CONT
İlk/son değer ve oturum (sessionization) analizi

Modül 4

Nested Veri ve Gelişmiş Yapılar

ARRAY_AGG ve STRUCT oluşturma
UNNEST ve CROSS JOIN ile dizi açma
JSON fonksiyonları: JSON_VALUE, JSON_QUERY
WITH CTE ve recursive CTE
User-defined function (SQL ve JavaScript UDF)
Scripting: DECLARE, IF, LOOP ve stored procedure

Günün hedefiKatılımcı sorgu planını okuyarak darboğazları tespit eder ve maliyeti düşüren optimizasyonlar uygular.

Modül 1

Sorgu Planı ve Analiz

Execution graph: stage, input/output ve slot süresi
bytes processed ve dry run ile maliyet tahmini
INFORMATION_SCHEMA.JOBS ile pahalı sorguların bulunması
Query insights ve performans uyarıları
Önbellek (cached results) davranışı
Shuffle ve spill-to-disk belirtileri

Modül 2

Sorgu Optimizasyon Teknikleri

SELECT * kullanımından kaçınma ve kolon budama
Partition pruning ve cluster pruning doğrulama
Join öncesi filtreleme ve broadcast join
ORDER BY ve LIMIT'in etkisi
REGEXP ve UDF yerine yerel fonksiyon
Tek seferlik hesaplamalar için geçici tablo

Modül 3

Önbellek ve Hızlandırma

Materialized view ve otomatik yenileme
BI Engine rezervasyonu ve bellek içi hızlandırma
Search index ve vector index
Ara tablolar ve önceden hesaplanmış özetler
Tablo tasarımının sorgu desenine göre revizyonu
Büyük JOIN'ler için denormalizasyon kararı

Modül 4

Slot, Rezervasyon ve Maliyet Kontrolü

On-demand ve Editions (Standard, Enterprise, Enterprise Plus)
Reservation, assignment ve autoscaling slotlar
Maximum bytes billed ve kullanıcı kotası
Billing export ile maliyet analizi
Etiket (label) bazlı maliyet dağılımı
Maliyet anomali uyarıları ve bütçe

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

BigQuery Mimarisi

Depolama-hesaplama ayrımını ve slot mantığını açıklayabilirsiniz.

🗂️

Tablo Tasarımı

Partition, clustering ve nested/repeated şema ile verimli tablo tasarlayabilirsiniz.

🧮

İleri SQL Yazma

Pencere fonksiyonları, UNNEST ve CTE ile analitik sorgular yazabilirsiniz.

📥

Veri Yükleme

bq load, Storage Write API ve Pub/Sub ile batch ve akış verisi yükleyebilirsiniz.

🔗

Entegrasyon Kurma

Data Transfer Service, Dataflow ve external table ile kaynakları bağlayabilirsiniz.

🚀

Sorgu Optimizasyonu

Execution graph okuyarak ve materialized view kullanarak sorguları hızlandırabilirsiniz.

🔐

Veriyi Koruma

IAM, row/column-level security ve policy tag ile erişimi sınırlayabilirsiniz.

🤖

BigQuery ML

SQL ile model eğitip tahmin üretebilir, sonuçları raporlara taşıyabilirsiniz.

Kimler İçin Uygundur?

Büyük veri setleriyle çalışan veri mühendisleri
BigQuery maliyetinden sorumlu platform ekipleri için uygundur

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

Büyük veri setleriyle çalışan veri mühendisleri ve BigQuery maliyetinden sorumlu platform ekipleri için uygundur.

Büyük Veri Setleri için BigQuery Optimizasyonları eğitimi kaç gün sürer ve nasıl işlenir?

Program 3 gündür; her gün dört modül ve modül başına altı konu işlenir. Her konu, gerçek açık veri setleri ve örnek e-ticaret/log tabloları üzerinde BigQuery konsolu, bq CLI ve SQL çalışma alanında canlı sorgularla işlenir; maliyet ve bytes processed her adımda gözlenir.

Eğitime katılmak için ön bilgi gerekir mi?

SELECT, JOIN ve GROUP BY seviyesinde SQL bilgisi önerilir. Tablo, şema, ETL ve veri ambarı kavramlarına genel aşinalık yeterlidir. BigQuery konsoluna ve Cloud Shell'e erişen güncel bir tarayıcı gerekir.

Eğitimde hangi konular işlenir?

Günlük ana başlıklar: BigQuery Mimarisi ve Veri Depolama; Standart SQL ile Veri Analizi; Performans, Maliyet ve Optimizasyon.

Eğitim sonunda sertifika verilir mi?

Katılımcılara Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir; bu belge DVA'nın katılım ve başarı belgesidir, üçüncü taraf bir sınavın yerine geçmez.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

BÜYÜK VERİ SETLERİ İÇİN BIGQUERY OPTİMİZASYONLARI EĞİTİMİ

Eğitim Hakkında

Neden Bu Eğitim?

Anahtar Konular

Ön Koşullar

Eğitim İçeriği

BigQuery Mimarisi

Tablo Tasarımı

Veri Tipleri ve Şema

Depolama Stratejileri

Standart SQL Temelleri

Join ve Küme İşlemleri

Pencere ve Analitik Fonksiyonlar

Nested Veri ve Gelişmiş Yapılar

Sorgu Planı ve Analiz

Sorgu Optimizasyon Teknikleri

Önbellek ve Hızlandırma

Slot, Rezervasyon ve Maliyet Kontrolü

Eğitim Kazanımları

Kimler İçin Uygundur?

Sıkça Sorulan Sorular

Sertifikalandırma

Eğitim Bilgileri

Bu Eğitimle Birlikte Tercih Edilenler

From Data to Insights with Google Cloud Platform Eğitimi

Fundamentals of BigQuery Eğitimi

GCP Associate Cloud Engineer (ACE) Exam Prep Eğitimi

GCP Data Engineer Pro: Becoming a Google Cloud Data Engineer Eğitimi

GCP Data Engineer Pro: BigQuery Data Warehouse Eğitimi