Build Data Lakes and Warehouses on Google Eğitimi

Eğitim Hakkında

Veri gölü (Cloud Storage/Dataproc) ve BigQuery veri ambarı mimarisini, yükleme ve optimizasyonunu uygulamalı biçimde ele alan program

Build Data Lakes and Warehouses on Google Cloud eğitimi; veri gölü (Cloud Storage/Dataproc) ve BigQuery veri ambarı mimarisini, yükleme ve optimizasyonunu laboratuvar çalışmalarıyla ele alır. Program 4 günde şu başlıklarla ilerler: Veri Gölü ve Ambarı Mimarisi; BigQuery Mimarisi ve Veri Depolama; Veri Yükleme ve Entegrasyon; Performans, Maliyet ve Optimizasyon. Her modülde komut, yapılandırma ve sorun giderme adımları uygulanır.

Süre ve Format

4 Gün. Her gün dört modül; günlük akış: Veri Gölü ve Ambarı Mimarisi → BigQuery Mimarisi ve Veri Depolama → Veri Yükleme ve Entegrasyon → Performans, Maliyet ve Optimizasyon.

Seviye

Orta Seviye — Cloud Storage, BigQuery, Dataproc ve veri modelleme; Dremel, Capacitor, dataset, partition ve clustering; Batch/stream yükleme, Dataflow, Data Transfer ve federasyon; Sorgu planı, slot kullanımı, materialized view ve BI Engine

Öğrenme Metodu

Her gün Qwiklabs benzeri proje ortamında gerçek veri setleriyle pipeline kurulur: Pub/Sub, Dataflow, Dataproc ve BigQuery ile çalışan uçtan uca hatlar oluşturulur ve izlenir.

Neden Bu Eğitim?

🛠️Uçtan Uca Pipeline

Ingestion'dan analize kadar batch ve streaming hatları aynı katalogda tasarlarsınız.

⚖️Doğru Araç Seçimi

Dataflow, Dataproc, Data Fusion ve BigQuery SQL arasında gerekçeli seçim yaparsınız.

🔒Kalite ve Yönetişim

Veri kalitesi, lineage ve erişim kontrolünü hattın parçası olarak tasarlarsınız.

Anahtar Konular

build data lakes and warehouses on google cloud eğitimigoogle cloud veri mühendisliğidata engineering on google clouddataflowdataprocpub/subapache beamcloud composergcp veri hattıbigquery veri ambarıveri gölü

“Güvenilir veri hattı, en gösterişli modelden daha değerli bir varlıktır.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

SQL Bilgisi

Orta düzeyde SQL yazabilmek gerekir.

2

Programlama

Python veya Java'da temel kodlama bilgisi faydalıdır.

3

Veri Kavramları

ETL, veri ambarı ve dosya formatlarına aşinalık beklenir.

4

Lab Ortamı

Google Cloud hesabı ve eğitimde sağlanan proje gerekir.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı Google Cloud üzerinde veri gölü ile veri ambarını birlikte tasarlar ve yük için doğru depolama katmanını seçer.

Modül 1

Veri Mühendisliği Rolü ve Mimari

Veri mühendisinin sorumlulukları ve veri yaşam döngüsü
Veri gölü, veri ambarı ve lakehouse karşılaştırması
Medallion (bronze/silver/gold) katman düzeni
Batch ve streaming mimari desenleri (Lambda/Kappa)
Kaynak sistemler ve ingestion seçenekleri
Hizmet seçimi: depolama, işleme, analiz

Modül 2

Veri Gölü: Cloud Storage

Bucket tasarımı, klasör düzeni ve nesne adlandırma
Depolama sınıfları ve lifecycle kuralları
Parquet, Avro ve ORC format seçimi
IAM, uniform bucket-level access ve imzalı URL
Transfer Service ve Storage Transfer ile veri taşıma
Dataplex lake, zone ve asset yapısı

Modül 3

Veri Ambarı: BigQuery

Dimensional model: yıldız ve kar tanesi şema
Partition, clustering ve denormalizasyon
Staging ve production dataset ayrımı
ELT yaklaşımıyla dönüşüm
Kalite kontrolleri ve veri doğrulama
Veri paylaşımı ve Analytics Hub

Modül 4

Hadoop/Spark Ekosistemi: Dataproc

Dataproc cluster tipleri ve ephemeral cluster yaklaşımı
Cloud Storage connector ve HDFS'den geçiş
Autoscaling policy ve preemptible worker
Dataproc Serverless for Spark
Initialization action ve optional component
Workflow template ile iş zincirleme

Günün hedefiKatılımcı BigQuery'nin depolama ve hesaplama ayrımını açıklar, tabloları partition ve clustering ile tasarlar.

Modül 1

BigQuery Mimarisi

Depolama ve hesaplama ayrımı, Dremel ve Colossus
Capacitor kolonar format ve sıkıştırma
Project, dataset, table ve view hiyerarşisi
Slot kavramı ve on-demand ile capacity fiyatlandırma
Konsol, bq CLI ve istemci kütüphaneleri
Bölge (location) seçimi ve dataset taşıma kısıtları

Modül 2

Tablo Tasarımı

Native, external ve temporary tablo türleri
Tarih/zaman bazlı ve integer-range partitioning
Clustering kolonları ve seçim kriterleri
require_partition_filter ve partition expiration
Time travel (7 gün) ve fail-safe penceresi
Tablo snapshot ve clone

Modül 3

Veri Tipleri ve Şema

STRUCT ve ARRAY ile iç içe (nested/repeated) şema
Denormalizasyonun sorgu maliyetine etkisi
NUMERIC, BIGNUMERIC, GEOGRAPHY ve JSON tipleri
Şema evrimi: kolon ekleme ve gevşetme
Tablo ve kolon açıklamaları, etiketler
INFORMATION_SCHEMA ile meta veri sorgulama

Modül 4

Depolama Stratejileri

Aktif ve uzun süreli depolama ücretlendirmesi
Veri yaşam döngüsü: expiration ve arşivleme
BigQuery ile Cloud Storage data lake ayrımı
Biglake ve Iceberg tablolar
Fiziksel ve mantıksal depolama faturalandırması
Çok bölgeli (US/EU) dataset yerleşimi

Günün hedefiKatılımcı farklı kaynaklardan BigQuery'ye veri taşır ve yükleme yöntemini veri hacmine göre seçer.

Modül 1

Batch Yükleme

bq load ve LOAD DATA ifadesi
CSV, JSON, Avro, Parquet ve ORC format farkları
Şema otomatik algılama ve hata toleransı (max_bad_records)
Cloud Storage'tan hive partitioned yükleme
Yükleme işlerinin izlenmesi ve job geçmişi
Yükleme ücretsizdir, sorgu ücretlidir ilkesi

Modül 2

Streaming ve Gerçek Zamanlı

Storage Write API ve eski insertAll karşılaştırması
Pub/Sub BigQuery subscription
Dataflow şablonları ile Pub/Sub'dan BigQuery'ye akış
Datastream ile Cloud SQL/Oracle CDC replikasyonu
Streaming buffer ve DML kısıtları
Exactly-once yazım ve tekilleştirme

Modül 3

Entegrasyon Araçları

BigQuery Data Transfer Service (Google Ads, SaaS kaynakları)
Zamanlanmış sorgular
Dataform ile SQL tabanlı ELT akışı
Cloud Composer (Airflow) BigQueryInsertJobOperator
Dataflow / Apache Beam BigQueryIO
Fivetran ve Datastream gibi üçüncü taraf bağlayıcılar

Modül 4

Federasyon ve Dış Kaynaklar

External table: Cloud Storage, Drive, Bigtable
Federated query: Cloud SQL ve Spanner EXTERNAL_QUERY
BigLake tabloları ve satır/kolon düzeyi güvenlik
Analytics Hub ile veri paylaşımı
Cross-cloud (BigQuery Omni) genel bakış
Federasyon ve yükleme maliyet/performans kıyası

Günün hedefiKatılımcı sorgu planını okuyarak darboğazları tespit eder ve maliyeti düşüren optimizasyonlar uygular.

Modül 1

Sorgu Planı ve Analiz

Execution graph: stage, input/output ve slot süresi
bytes processed ve dry run ile maliyet tahmini
INFORMATION_SCHEMA.JOBS ile pahalı sorguların bulunması
Query insights ve performans uyarıları
Önbellek (cached results) davranışı
Shuffle ve spill-to-disk belirtileri

Modül 2

Sorgu Optimizasyon Teknikleri

SELECT * kullanımından kaçınma ve kolon budama
Partition pruning ve cluster pruning doğrulama
Join öncesi filtreleme ve broadcast join
ORDER BY ve LIMIT'in etkisi
REGEXP ve UDF yerine yerel fonksiyon
Tek seferlik hesaplamalar için geçici tablo

Modül 3

Önbellek ve Hızlandırma

Materialized view ve otomatik yenileme
BI Engine rezervasyonu ve bellek içi hızlandırma
Search index ve vector index
Ara tablolar ve önceden hesaplanmış özetler
Tablo tasarımının sorgu desenine göre revizyonu
Büyük JOIN'ler için denormalizasyon kararı

Modül 4

Slot, Rezervasyon ve Maliyet Kontrolü

On-demand ve Editions (Standard, Enterprise, Enterprise Plus)
Reservation, assignment ve autoscaling slotlar
Maximum bytes billed ve kullanıcı kotası
Billing export ile maliyet analizi
Etiket (label) bazlı maliyet dağılımı
Maliyet anomali uyarıları ve bütçe

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

Mimari Tasarım

Veri gölü ve ambarı mimarisini ihtiyaca göre tasarlayabilirsiniz.

📦

Batch Pipeline

Dataflow ve Dataproc ile batch hatları kurabilirsiniz.

🌊

Streaming Pipeline

Pub/Sub ve Dataflow ile pencereli akış işleme yapabilirsiniz.

🗄️

Hedef Seçimi

BigQuery ve Bigtable arasında doğru hedefi seçebilirsiniz.

🎛️

Orkestrasyon

Cloud Composer ile iş akışı zamanlayıp izleyebilirsiniz.

✔️

Veri Kalitesi

Dataplex ve Dataform ile kalite kontrollerini otomatikleştirebilirsiniz.

🤖

ML Entegrasyonu

BigQuery ML ve Vertex AI ile hattı ML'e bağlayabilirsiniz.

📈

İşletim

Pipeline metrikleri, alarm ve maliyetini yönetebilirsiniz.

Kimler İçin Uygundur?

Kurumsal veri platformu kuran veri mimarları
veri mühendisleri için uygundur

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

Kurumsal veri platformu kuran veri mimarları ve veri mühendisleri için uygundur.

Build Data Lakes and Warehouses on Google Cloud eğitimi kaç gün sürer ve nasıl işlenir?

Program 4 gündür; her gün dört modül ve modül başına altı konu işlenir. Her gün Qwiklabs benzeri proje ortamında gerçek veri setleriyle pipeline kurulur: Pub/Sub, Dataflow, Dataproc ve BigQuery ile çalışan uçtan uca hatlar oluşturulur ve izlenir.

Eğitime katılmak için ön bilgi gerekir mi?

Orta düzeyde SQL yazabilmek gerekir. Python veya Java'da temel kodlama bilgisi faydalıdır. Google Cloud hesabı ve eğitimde sağlanan proje gerekir.

Eğitimde hangi konular işlenir?

Günlük ana başlıklar: Veri Gölü ve Ambarı Mimarisi; BigQuery Mimarisi ve Veri Depolama; Veri Yükleme ve Entegrasyon; Performans, Maliyet ve Optimizasyon.

Eğitim sonunda sertifika verilir mi?

Katılımcılara Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir; bu belge DVA'nın katılım ve başarı belgesidir, üçüncü taraf bir sınavın yerine geçmez.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

BUILD DATA LAKES AND WAREHOUSES ON GOOGLE CLOUD EĞİTİMİ

Eğitim Hakkında

Neden Bu Eğitim?

Anahtar Konular

Ön Koşullar

Eğitim İçeriği

Veri Mühendisliği Rolü ve Mimari

Veri Gölü: Cloud Storage

Veri Ambarı: BigQuery

Hadoop/Spark Ekosistemi: Dataproc

BigQuery Mimarisi

Tablo Tasarımı

Veri Tipleri ve Şema

Depolama Stratejileri

Batch Yükleme

Streaming ve Gerçek Zamanlı

Entegrasyon Araçları

Federasyon ve Dış Kaynaklar

Sorgu Planı ve Analiz

Sorgu Optimizasyon Teknikleri

Önbellek ve Hızlandırma

Slot, Rezervasyon ve Maliyet Kontrolü

Eğitim Kazanımları

Kimler İçin Uygundur?

Sıkça Sorulan Sorular

Sertifikalandırma

Eğitim Bilgileri

Bu Eğitimle Birlikte Tercih Edilenler

Monitoring Cloud Application Workloads in GCP Hack (MTRG-HACK-G) Eğitimi

NetApp Integrating Hybrid Clouds with Google Cloud Eğitimi

Networking in Google Cloud (GC-NET-3) Eğitimi

Networking in Google Cloud (NGCP) Eğitimi

Networking in Google Cloud Eğitimi