Google BigQuery ile Veri Entegrasyonu Eğitimi

Eğitim Hakkında

BigQuery veri entegrasyon yöntemlerini (batch, streaming, CDC, federasyon) uygulamalı biçimde ele alan program

Google BigQuery ile Veri Entegrasyonu eğitimi; BigQuery veri entegrasyon yöntemlerini (batch, streaming, CDC, federasyon) laboratuvar çalışmalarıyla ele alır. Program 3 günde şu başlıklarla ilerler: BigQuery Mimarisi ve Veri Depolama; Veri Yükleme ve Entegrasyon; Performans, Maliyet ve Optimizasyon. Her modülde komut, yapılandırma ve sorun giderme adımları uygulanır.

Süre ve Format

3 Gün. Her gün dört modül; günlük akış: BigQuery Mimarisi ve Veri Depolama → Veri Yükleme ve Entegrasyon → Performans, Maliyet ve Optimizasyon.

Seviye

Orta Seviye — Dremel, Capacitor, dataset, partition ve clustering; Batch/stream yükleme, Dataflow, Data Transfer ve federasyon; Sorgu planı, slot kullanımı, materialized view ve BI Engine

Öğrenme Metodu

Her konu, gerçek açık veri setleri ve örnek e-ticaret/log tabloları üzerinde BigQuery konsolu, bq CLI ve SQL çalışma alanında canlı sorgularla işlenir; maliyet ve bytes processed her adımda gözlenir.

Neden Bu Eğitim?

⚡Sorgu Performansı

Partition, clustering ve sorgu planı okuma ile büyük tablolarda sorgu süresini ve maliyetini ölçülebilir biçimde düşürürsünüz.

🔌Veri Entegrasyonu

Batch, streaming ve federasyon yöntemlerini veri hacmi ve gecikme ihtiyacına göre seçmeyi öğrenirsiniz.

💲Maliyet Kontrolü

On-demand, Editions ve slot rezervasyonu arasında bilinçli seçim yaparak faturayı yönetirsiniz.

Anahtar Konular

google bigquery ile veri entegrasyonu eğitimibigquery eğitimigoogle bigquerybigquery sqlbigquery optimizasyonbigquery partition clusteringgoogle cloud veri ambarıbigquery mlbigquery slotbigquery kursu

“Doğru tasarlanmış bir tablo, en hızlı sorgudan bile daha ucuzdur.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

SQL Temeli

SELECT, JOIN ve GROUP BY seviyesinde SQL bilgisi önerilir.

2

Veri Kavramları

Tablo, şema, ETL ve veri ambarı kavramlarına genel aşinalık yeterlidir.

3

Google Hesabı

Google Cloud erişimi için e-posta hesabı gerekir; lab projesi eğitimde sağlanır.

4

Tarayıcı Erişimi

BigQuery konsoluna ve Cloud Shell'e erişen güncel bir tarayıcı gerekir.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı BigQuery'nin depolama ve hesaplama ayrımını açıklar, tabloları partition ve clustering ile tasarlar.

Modül 1

BigQuery Mimarisi

Depolama ve hesaplama ayrımı, Dremel ve Colossus
Capacitor kolonar format ve sıkıştırma
Project, dataset, table ve view hiyerarşisi
Slot kavramı ve on-demand ile capacity fiyatlandırma
Konsol, bq CLI ve istemci kütüphaneleri
Bölge (location) seçimi ve dataset taşıma kısıtları

Modül 2

Tablo Tasarımı

Native, external ve temporary tablo türleri
Tarih/zaman bazlı ve integer-range partitioning
Clustering kolonları ve seçim kriterleri
require_partition_filter ve partition expiration
Time travel (7 gün) ve fail-safe penceresi
Tablo snapshot ve clone

Modül 3

Veri Tipleri ve Şema

STRUCT ve ARRAY ile iç içe (nested/repeated) şema
Denormalizasyonun sorgu maliyetine etkisi
NUMERIC, BIGNUMERIC, GEOGRAPHY ve JSON tipleri
Şema evrimi: kolon ekleme ve gevşetme
Tablo ve kolon açıklamaları, etiketler
INFORMATION_SCHEMA ile meta veri sorgulama

Modül 4

Depolama Stratejileri

Aktif ve uzun süreli depolama ücretlendirmesi
Veri yaşam döngüsü: expiration ve arşivleme
BigQuery ile Cloud Storage data lake ayrımı
Biglake ve Iceberg tablolar
Fiziksel ve mantıksal depolama faturalandırması
Çok bölgeli (US/EU) dataset yerleşimi

Günün hedefiKatılımcı farklı kaynaklardan BigQuery'ye veri taşır ve yükleme yöntemini veri hacmine göre seçer.

Modül 1

Batch Yükleme

bq load ve LOAD DATA ifadesi
CSV, JSON, Avro, Parquet ve ORC format farkları
Şema otomatik algılama ve hata toleransı (max_bad_records)
Cloud Storage'tan hive partitioned yükleme
Yükleme işlerinin izlenmesi ve job geçmişi
Yükleme ücretsizdir, sorgu ücretlidir ilkesi

Modül 2

Streaming ve Gerçek Zamanlı

Storage Write API ve eski insertAll karşılaştırması
Pub/Sub BigQuery subscription
Dataflow şablonları ile Pub/Sub'dan BigQuery'ye akış
Datastream ile Cloud SQL/Oracle CDC replikasyonu
Streaming buffer ve DML kısıtları
Exactly-once yazım ve tekilleştirme

Modül 3

Entegrasyon Araçları

BigQuery Data Transfer Service (Google Ads, SaaS kaynakları)
Zamanlanmış sorgular
Dataform ile SQL tabanlı ELT akışı
Cloud Composer (Airflow) BigQueryInsertJobOperator
Dataflow / Apache Beam BigQueryIO
Fivetran ve Datastream gibi üçüncü taraf bağlayıcılar

Modül 4

Federasyon ve Dış Kaynaklar

External table: Cloud Storage, Drive, Bigtable
Federated query: Cloud SQL ve Spanner EXTERNAL_QUERY
BigLake tabloları ve satır/kolon düzeyi güvenlik
Analytics Hub ile veri paylaşımı
Cross-cloud (BigQuery Omni) genel bakış
Federasyon ve yükleme maliyet/performans kıyası

Günün hedefiKatılımcı sorgu planını okuyarak darboğazları tespit eder ve maliyeti düşüren optimizasyonlar uygular.

Modül 1

Sorgu Planı ve Analiz

Execution graph: stage, input/output ve slot süresi
bytes processed ve dry run ile maliyet tahmini
INFORMATION_SCHEMA.JOBS ile pahalı sorguların bulunması
Query insights ve performans uyarıları
Önbellek (cached results) davranışı
Shuffle ve spill-to-disk belirtileri

Modül 2

Sorgu Optimizasyon Teknikleri

SELECT * kullanımından kaçınma ve kolon budama
Partition pruning ve cluster pruning doğrulama
Join öncesi filtreleme ve broadcast join
ORDER BY ve LIMIT'in etkisi
REGEXP ve UDF yerine yerel fonksiyon
Tek seferlik hesaplamalar için geçici tablo

Modül 3

Önbellek ve Hızlandırma

Materialized view ve otomatik yenileme
BI Engine rezervasyonu ve bellek içi hızlandırma
Search index ve vector index
Ara tablolar ve önceden hesaplanmış özetler
Tablo tasarımının sorgu desenine göre revizyonu
Büyük JOIN'ler için denormalizasyon kararı

Modül 4

Slot, Rezervasyon ve Maliyet Kontrolü

On-demand ve Editions (Standard, Enterprise, Enterprise Plus)
Reservation, assignment ve autoscaling slotlar
Maximum bytes billed ve kullanıcı kotası
Billing export ile maliyet analizi
Etiket (label) bazlı maliyet dağılımı
Maliyet anomali uyarıları ve bütçe

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

BigQuery Mimarisi

Depolama-hesaplama ayrımını ve slot mantığını açıklayabilirsiniz.

🗂️

Tablo Tasarımı

Partition, clustering ve nested/repeated şema ile verimli tablo tasarlayabilirsiniz.

🧮

İleri SQL Yazma

Pencere fonksiyonları, UNNEST ve CTE ile analitik sorgular yazabilirsiniz.

📥

Veri Yükleme

bq load, Storage Write API ve Pub/Sub ile batch ve akış verisi yükleyebilirsiniz.

🔗

Entegrasyon Kurma

Data Transfer Service, Dataflow ve external table ile kaynakları bağlayabilirsiniz.

🚀

Sorgu Optimizasyonu

Execution graph okuyarak ve materialized view kullanarak sorguları hızlandırabilirsiniz.

🔐

Veriyi Koruma

IAM, row/column-level security ve policy tag ile erişimi sınırlayabilirsiniz.

🤖

BigQuery ML

SQL ile model eğitip tahmin üretebilir, sonuçları raporlara taşıyabilirsiniz.

Kimler İçin Uygundur?

Farklı kaynaklardan BigQuery'ye veri taşıyan veri mühendisleri
entegrasyon uzmanları için uygundur

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

Farklı kaynaklardan BigQuery'ye veri taşıyan veri mühendisleri ve entegrasyon uzmanları için uygundur.

Google BigQuery ile Veri Entegrasyonu eğitimi kaç gün sürer ve nasıl işlenir?

Program 3 gündür; her gün dört modül ve modül başına altı konu işlenir. Her konu, gerçek açık veri setleri ve örnek e-ticaret/log tabloları üzerinde BigQuery konsolu, bq CLI ve SQL çalışma alanında canlı sorgularla işlenir; maliyet ve bytes processed her adımda gözlenir.

Eğitime katılmak için ön bilgi gerekir mi?

SELECT, JOIN ve GROUP BY seviyesinde SQL bilgisi önerilir. Tablo, şema, ETL ve veri ambarı kavramlarına genel aşinalık yeterlidir. BigQuery konsoluna ve Cloud Shell'e erişen güncel bir tarayıcı gerekir.

Eğitimde hangi konular işlenir?

Günlük ana başlıklar: BigQuery Mimarisi ve Veri Depolama; Veri Yükleme ve Entegrasyon; Performans, Maliyet ve Optimizasyon.

Eğitim sonunda sertifika verilir mi?

Katılımcılara Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir; bu belge DVA'nın katılım ve başarı belgesidir, üçüncü taraf bir sınavın yerine geçmez.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

GOOGLE BIGQUERY İLE VERİ ENTEGRASYONU EĞİTİMİ

Eğitim Hakkında

Neden Bu Eğitim?

Anahtar Konular

Ön Koşullar

Eğitim İçeriği

BigQuery Mimarisi

Tablo Tasarımı

Veri Tipleri ve Şema

Depolama Stratejileri

Batch Yükleme

Streaming ve Gerçek Zamanlı

Entegrasyon Araçları

Federasyon ve Dış Kaynaklar

Sorgu Planı ve Analiz

Sorgu Optimizasyon Teknikleri

Önbellek ve Hızlandırma

Slot, Rezervasyon ve Maliyet Kontrolü

Eğitim Kazanımları

Kimler İçin Uygundur?

Sıkça Sorulan Sorular

Sertifikalandırma

Eğitim Bilgileri

Bu Eğitimle Birlikte Tercih Edilenler

Veri Analizi ve SQL ile BigQuery Eğitimi

Advanced GCP: Designing Globally Resilient Cloud Architectures Eğitimi

Advanced GCP: Enterprise Network Fabric & Hybrid Connectivity Eğitimi

Agent Operations on Google Cloud (AOPGC) Eğitimi

Alerting and Logging with Google Cloud Operations Eğitimi