GCP Data Engineer Pro: Building Robust Data Structures

Eğitim Hakkında

Şema tasarımı, Cloud Spanner ve Bigtable row key ekseninde uygulamalı Google Cloud eğitimi

Google Cloud'da dayanıklı veri yapıları kurmaya odaklanır. Normalizasyon ve denormalizasyon, Cloud SQL/Spanner/AlloyDB, Bigtable satır anahtarı ve Firestore modeli, yapılandırılmamış veri yönetimi, BigQuery bölümleme ve kümeleme, star schema, BigLake ve Cloud Storage veri gölü düzeni örneklenir. Her konu, gerçek proje senaryolarına dayanan yönlendirmeli laboratuvar çalışmalarıyla pekiştirilir.

Süre ve Format

2 Gün. Her gün dört modül; her modülde altı teknik başlık, Şema tasarımı ve BigQuery laboratuvarları ile desteklenir.

Seviye

Orta Seviye — Şema tasarımı, Cloud Spanner, Bigtable row key ve Firestore dahil uçtan uca teknik yelpaze

Öğrenme Metodu

Her modül Şema tasarımı ve BigQuery laboratuvarları üzerinde yönlendirmeli uygulamayla pekiştirilir; katılımcılar komut, sorgu ve yapılandırmaları adım adım kendi projelerinde çalıştırır.

Neden Bu Eğitim?

🎯Konuya Özgü İçerik

Şema tasarımı, Cloud Spanner ve Bigtable row key gibi sahada karşılaşılan bileşenler komut ve yapılandırma düzeyinde ele alınır.

🛠️Uygulamalı Laboratuvar

Her modül Şema tasarımı ve BigQuery laboratuvarları ile pekiştirilir; katılımcılar öğrendiklerini kendi projelerinde çalıştırır.

📈Üretime Dönük Bakış

Firestore, BigQuery bölümleme ve Veri gölü konularında performans, güvenlik ve maliyet ödünleşimleri gerçek senaryolarla tartışılır.

Anahtar Konular

GCP Data Engineer Pro: Building Robust Data Structures EğitimiGCP Data Engineer Pro: Building Robust Data StructuresŞema tasarımıCloud SpannerBigtable row keyFirestoreBigQuery bölümlemeVeri gölüGoogle Cloud eğitimiGCP eğitimiDigital Vizyon Akademi

“Şema tasarımı sorusuna cevap vermek için önce hangi servisin neden seçildiğini anlamak gerekir.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

SQL Temeli

SELECT, JOIN ve GROUP BY düzeyinde SQL bilgisi eğitimde yazılacak sorguları rahat takip etmenizi sağlar.

2

Veri Kavramları

ETL/ELT, veri ambarı ve batch ile streaming ayrımı hakkında temel bilgi önerilir.

3

Python Okuryazarlığı

Beam ve Spark örneklerini okuyabilecek kadar Python ya da Java bilgisi faydalıdır.

4

Laboratuvar Ortamı

Google Cloud hesabı, güncel tarayıcı ve Cloud Shell erişimi olan internet bağlantılı bir bilgisayar gerekir.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı, veri Yapıları ve Şema Tasarımı, oLTP Depolama: Cloud SQL, AlloyDB ve Spanner, yarı Yapılandırılmış Veri: Firestore, Bigtable ve Memorystore ve yapılandırılmamış Veri ve Google AI API'leri konularını laboratuvar senaryolarında uygulayarak günün çıktısını kendi ortamında yeniden üretebilir.

Modül 1

Veri Yapıları ve Şema Tasarımı

Yapılandırılmış, yarı yapılandırılmış ve yapılandırılmamış veri ayrımı
Normalizasyon ile denormalizasyon kararları ve OLTP / OLAP farkı
Bigtable, BigQuery ve Spanner için şema tasarım kalıpları
Veri türleri, NULL yönetimi ve ARRAY / STRUCT kullanımı
Erişim desenine göre anahtar ve bölüm seçimi
Şema evrimi ve geriye dönük uyumluluk

Modül 2

OLTP Depolama: Cloud SQL, AlloyDB ve Spanner

Cloud SQL (MySQL, PostgreSQL, SQL Server) yüksek erişilebilirlik ve okuma kopyaları
Otomatik yedekleme, point-in-time recovery ve bakım pencereleri
AlloyDB mimarisi, kolonar motor ve okuma havuzu
Cloud Spanner: global tutarlılık, TrueTime, interleaved tablo ve birincil anahtar tasarımı
Bağlantı yöntemleri: Cloud SQL Auth Proxy, private IP ve bağlantı havuzu
İş yüküne göre veritabanı seçim ölçütleri ve maliyet karşılaştırması

Modül 3

Yarı Yapılandırılmış Veri: Firestore, Bigtable ve Memorystore

Firestore belge/koleksiyon modeli, dizinler ve güvenlik kuralları
Bigtable düğüm, tablet ve satır anahtarı (row key) tasarımı; hotspot önleme
Bigtable column family, garbage collection ve replikasyon profilleri
JSON verinin BigQuery JSON tipi ile saklanması ve JSON_VALUE / JSON_QUERY sorguları
Memorystore for Redis ve Memcached ile önbellekleme
Veri modeli seçimi: geniş sütunlu, belge ve anahtar-değer kullanım senaryoları

Modül 4

Yapılandırılmamış Veri ve Google AI API'leri

Cloud Storage üzerinde görüntü, ses, video ve doküman veri gölü düzeni
Vision API ile etiket, OCR ve nesne tespiti
Speech-to-Text, Natural Language ve Video Intelligence API'leri
Document AI ile belge ayrıştırma (parser) ve form verisi çıkarma
BigQuery object table ile yapılandırılmamış verinin SQL ile sorgulanması
Sensitive Data Protection (DLP) ile hassas veri tespiti ve maskeleme

Günün hedefiKatılımcı, bigQuery Depolama Tasarımı: Bölümleme ve Kümeleme, veri Ambarı Tasarımı ve ELT Kalıpları, veri Gölü ve BigLake Mimarisi ve cloud Storage Yönetimi konularını laboratuvar senaryolarında uygulayarak günün çıktısını kendi ortamında yeniden üretebilir.

Modül 1

BigQuery Depolama Tasarımı: Bölümleme ve Kümeleme

Zaman birimi (time-unit), ingestion-time ve tamsayı aralığı (integer range) bölümleme
Clustering sütunlarının seçimi ve sıralamanın taranan veri miktarına etkisi
Partition expiration, require partition filter ve tablo yaşam döngüsü
Denormalizasyon, iç içe/tekrarlı şemalar ve star schema karşılaştırması
Materialized view'ler ve otomatik yenileme davranışı
Time travel, tablo snapshot'ları ve table clone ile veri koruma

Modül 2

Veri Ambarı Tasarımı ve ELT Kalıpları

Star schema, snowflake ve geniş (wide) tablo yaklaşımlarının BigQuery'deki yeri
Yavaş değişen boyutlar (SCD Tip 1/2) için MERGE ifadeleri
Staging, core ve mart katmanlı (medallion benzeri) veri ambarı mimarisi
Dataform ile SQL tabanlı ELT iş akışları ve bağımlılık yönetimi
Veri kalitesi kontrolleri (assertion) ve şema değişikliği yönetimi
Dataplex ile veri yönetişimi, lineage ve keşif

Modül 3

Veri Gölü ve BigLake Mimarisi

Cloud Storage üzerinde Parquet / ORC veri gölü düzeni ve bölüm yapısı
BigLake tabloları ile ince taneli erişim kontrolü
Apache Iceberg tabloları ve metadata yönetimi
Dataproc Metastore ve BigQuery arasında şema paylaşımı
Veri gölü ile veri ambarı arasında seçim ölçütleri
Veri sürümleme ve yaşam döngüsü politikaları

Modül 4

Cloud Storage Yönetimi

Standard, Nearline, Coldline ve Archive depolama sınıfları ile maliyet etkisi
Object lifecycle yönetimi, versioning ve retention policy / bucket lock
Uniform bucket-level access, ACL ve signed URL ile erişim kontrolü
gsutil ve gcloud storage ile paralel yükleme, rsync ve composite upload
Pub/Sub bildirimleri ve Eventarc ile nesne olaylarına tepki
Storage Transfer Service ve çok bölgeli (dual-region) bucket tasarımı

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

Şema Tasarımı

Erişim desenine göre veri depolarında şema ve anahtar tasarlayabilirsiniz.

🔧

OLTP Veritabanları

Cloud SQL, AlloyDB ve Spanner arasında iş yüküne uygun seçim yapabilirsiniz.

📊

NoSQL Depolama

Bigtable satır anahtarı ve Firestore modelini erişim desenine göre tasarlayabilirsiniz.

🔐

Yapılandırılmamış Veri

Görüntü, metin ve belge verisini Google API'leriyle işleyip analiz edebilirsiniz.

🚀

Depolama Tasarımı

Bölümleme ve kümeleme ile taranan veriyi azaltan tablo şemaları tasarlayabilirsiniz.

🧩

Veri Ambarı Tasarımı

Katmanlı veri ambarı mimarisi kurup MERGE ve Dataform ile ELT akışları oluşturabilirsiniz.

📈

Veri Gölü

BigLake ve Iceberg ile veri gölü ile ambarı birlikte kullanabilirsiniz.

🛠️

Cloud Storage

Bucket tasarımını erişim, yaşam döngüsü ve maliyet açısından yönetebilirsiniz.

Kimler İçin Uygundur?

Veri modelleme yapan mühendisler
DBA'ler
PDE sınavına hazırlananlar için uygundur

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

Veri modelleme yapan mühendisler, DBA'ler ve PDE sınavına hazırlananlar için uygundur.

Eğitime katılmak için hangi ön bilgi gerekir?

Temel SQL, veri modelleme ve Google Cloud servis adlarına aşinalık önerilir. Eksik konular eğitim sırasında tamamlanır.

GCP Data Engineer Pro: Building Robust Data Structures eğitiminde hangi konular işlenir?

1. gün Şema Tasarımı ve OLTP Veritabanları; 2. gün Depolama Tasarımı ve Veri Ambarı Tasarımı. Ayrıca Şema tasarımı, Cloud Spanner ve Bigtable row key uygulamalı çalışılır.

Eğitim sonunda sertifika veriliyor mu?

Eğitimi tamamlayan katılımcılara Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir. Google Cloud sertifikasyon sınavı ayrı bir süreçtir; sınav başvurusu ve ücreti ilgili kuruma aittir. Eğitim hazırlık içeriği sunar ve sınav sonucunu vaat etmez.

Eğitim nasıl yürütülür?

Eğitim 2 gündür ve her gün dört modülden oluşur. Anlatımlar Şema tasarımı ve BigQuery laboratuvarları ile birleşir; katılımcılar komut, sorgu ve yapılandırmaları kendi ortamlarında çalıştırır.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

GCP DATA ENGINEER PRO: BUILDING ROBUST DATA STRUCTURES EĞİTİMİ