Google Cloud Semi-structured Data

Eğitim Hakkında

Firestore, Bigtable ve JSON ekseninde uygulamalı Google Cloud eğitimi

Yarı yapılandırılmış verinin Google Cloud'da saklanıp işlenmesini ele alır. Firestore belge modeli ve dizinler, Bigtable satır anahtarı ve garbage collection, Memorystore önbellekleme, JSON ve iç içe verinin BigQuery'ye yüklenmesi, JSON_VALUE sorguları, Beam/Dataflow ve Pub/Sub ile akış, güvenlik ve izleme uygulanır.

Süre ve Format

2 Gün. Her gün dört modül; her modülde altı teknik başlık, Firestore, Bigtable ve BigQuery laboratuvarları ile desteklenir.

Seviye

Orta Seviye — Firestore, Bigtable, JSON ve Memorystore dahil uçtan uca teknik yelpaze

Öğrenme Metodu

Her modül Firestore, Bigtable ve BigQuery laboratuvarları üzerinde yönlendirmeli uygulamayla pekiştirilir; katılımcılar komut, sorgu ve yapılandırmaları adım adım kendi projelerinde çalıştırır.

Neden Bu Eğitim?

🎯Konuya Özgü İçerik

Firestore, Bigtable ve JSON gibi sahada karşılaşılan bileşenler komut ve yapılandırma düzeyinde ele alınır.

🛠️Uygulamalı Laboratuvar

Her modül Firestore, Bigtable ve BigQuery laboratuvarları ile pekiştirilir; katılımcılar öğrendiklerini kendi projelerinde çalıştırır.

📈Üretime Dönük Bakış

Memorystore, Row key tasarımı ve BigQuery JSON konularında performans, güvenlik ve maliyet ödünleşimleri gerçek senaryolarla tartışılır.

Anahtar Konular

GCP Data Engineer Pro: Google Cloud Semi-structured Data EğitimiGCP Data Engineer Pro: Google Cloud Semi-structured DataFirestoreBigtableJSONMemorystoreRow key tasarımıBigQuery JSONGoogle Cloud eğitimiGCP eğitimiDigital Vizyon Akademi

“Firestore sorusuna cevap vermek için önce hangi servisin neden seçildiğini anlamak gerekir.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

SQL Temeli

SELECT, JOIN ve GROUP BY düzeyinde SQL bilgisi eğitimde yazılacak sorguları rahat takip etmenizi sağlar.

2

Veri Kavramları

ETL/ELT, veri ambarı ve batch ile streaming ayrımı hakkında temel bilgi önerilir.

3

Python Okuryazarlığı

Beam ve Spark örneklerini okuyabilecek kadar Python ya da Java bilgisi faydalıdır.

4

Laboratuvar Ortamı

Google Cloud hesabı, güncel tarayıcı ve Cloud Shell erişimi olan internet bağlantılı bir bilgisayar gerekir.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı, veri Yapıları ve Şema Tasarımı, yarı Yapılandırılmış Veri: Firestore, Bigtable ve Memorystore, bigQuery'ye Veri Yükleme ve Dış Kaynaklar ve bigQuery Standard SQL ve İleri Sorgular konularını laboratuvar senaryolarında uygulayarak günün çıktısını kendi ortamında yeniden üretebilir.

Modül 1

Veri Yapıları ve Şema Tasarımı

Yapılandırılmış, yarı yapılandırılmış ve yapılandırılmamış veri ayrımı
Normalizasyon ile denormalizasyon kararları ve OLTP / OLAP farkı
Bigtable, BigQuery ve Spanner için şema tasarım kalıpları
Veri türleri, NULL yönetimi ve ARRAY / STRUCT kullanımı
Erişim desenine göre anahtar ve bölüm seçimi
Şema evrimi ve geriye dönük uyumluluk

Modül 2

Yarı Yapılandırılmış Veri: Firestore, Bigtable ve Memorystore

Firestore belge/koleksiyon modeli, dizinler ve güvenlik kuralları
Bigtable düğüm, tablet ve satır anahtarı (row key) tasarımı; hotspot önleme
Bigtable column family, garbage collection ve replikasyon profilleri
JSON verinin BigQuery JSON tipi ile saklanması ve JSON_VALUE / JSON_QUERY sorguları
Memorystore for Redis ve Memcached ile önbellekleme
Veri modeli seçimi: geniş sütunlu, belge ve anahtar-değer kullanım senaryoları

Modül 3

BigQuery'ye Veri Yükleme ve Dış Kaynaklar

Load job ile CSV, JSON, Avro, Parquet ve ORC dosyalarının yüklenmesi
Storage Write API ve eski streaming insert yöntemlerinin karşılaştırması
Harici tablolar (external table), BigLake tabloları ve Hive bölümlü veri
Federated query ile Cloud SQL, Spanner ve Bigtable kaynaklarına sorgu
BigQuery Data Transfer Service ile SaaS ve Cloud Storage zamanlanmış aktarımı
Şema otomatik algılama, şema evrimi ve hatalı kayıt yönetimi (max bad records)

Modül 4

BigQuery Standard SQL ve İleri Sorgular

Standard SQL ile JOIN, GROUP BY, HAVING ve alt sorgu (subquery) kalıpları
ARRAY, STRUCT ve UNNEST ile iç içe/tekrarlı alanların sorgulanması
Pencere (window) fonksiyonları: ROW_NUMBER, LAG, SUM() OVER (PARTITION BY ...)
WITH ifadeleri (CTE), geçici tablolar ve scripting (DECLARE, LOOP, EXECUTE IMMEDIATE)
Kullanıcı tanımlı fonksiyonlar (SQL ve JavaScript UDF) ile procedure yazımı
Zamanlanmış sorgular (scheduled queries) ve parametreli sorgular

Günün hedefiKatılımcı, dataflow ve Apache Beam ile Veri İşleme, pub/Sub ile Mesajlaşma, veri Güvenliği ve Gizliliği ve cloud Monitoring, Logging ve Uyarı Yönetimi konularını laboratuvar senaryolarında uygulayarak günün çıktısını kendi ortamında yeniden üretebilir.

Modül 1

Dataflow ve Apache Beam ile Veri İşleme

Beam programlama modeli: Pipeline, PCollection, PTransform ve ParDo
GroupByKey, CombinePerKey, Side Input ve yan çıktılar (tagged outputs)
Windowing türleri: fixed, sliding, session ve global pencere
Event time, watermark, trigger ve geç gelen veri (allowed lateness) yönetimi
Dataflow Runner ile iş başlatma, autoscaling, Streaming Engine ve Shuffle servisi
Classic ve Flex Template ile yeniden kullanılabilir pipeline dağıtımı

Modül 2

Pub/Sub ile Mesajlaşma

Topic, subscription ve mesaj yaşam döngüsü; at-least-once teslimat semantiği
Pull, push ve BigQuery / Cloud Storage subscription türleri
Ack deadline, yeniden deneme politikası ve dead-letter topic yapılandırması
Message ordering key ve exactly-once delivery kullanım koşulları
Şema (Avro/Protobuf) doğrulama ve mesaj saklama (retention) / seek ile tekrar oynatma
Pub/Sub Lite ve Kafka karşılaştırması, kota ve ölçeklenme

Modül 3

Veri Güvenliği ve Gizliliği

Cloud KMS, CMEK ve anahtar döndürme (key rotation) politikaları
VPC Service Controls ile veri sızıntısı çevresi (perimeter) tanımı
Sensitive Data Protection: inspect, de-identify ve tokenization
Secret Manager ile parola ve anahtarların saklanması
Veri kalıcılığı, yedekleme ve KVKK/GDPR kapsamında veri konumu kararları
Audit log ve Security Command Center bulgularının izlenmesi

Modül 4

Cloud Monitoring, Logging ve Uyarı Yönetimi

Ops Agent kurulumu ve metrik/log toplama yapılandırması
Cloud Monitoring dashboard, MQL/PromQL sorguları ve uptime check
Alerting policy, bildirim kanalları ve SLO / hata bütçesi izleme
Cloud Logging sorgu dili, log-based metric ve log bucket saklama süreleri
Log Router sink'leri ile BigQuery, Cloud Storage ve Pub/Sub'a log aktarımı
Error Reporting, Cloud Trace ve Cloud Profiler ile uygulama teşhisi

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

Şema Tasarımı

Erişim desenine göre veri depolarında şema ve anahtar tasarlayabilirsiniz.

🔧

NoSQL Depolama

Bigtable satır anahtarı ve Firestore modelini erişim desenine göre tasarlayabilirsiniz.

📊

Veri Yükleme

Batch ve streaming yöntemleriyle BigQuery'ye farklı formatlarda veri aktarabilirsiniz.

🔐

BigQuery SQL

İç içe alanlar ve pencere fonksiyonlarıyla karmaşık BigQuery sorguları yazabilirsiniz.

🚀

Dataflow ve Beam

Beam ile batch ve streaming pipeline yazıp Dataflow üzerinde çalıştırabilirsiniz.

🧩

Pub/Sub Mesajlaşma

Pub/Sub topic ve subscription tasarımını güvenilir teslimat için yapılandırabilirsiniz.

📈

Veri Güvenliği

CMEK, VPC Service Controls ve DLP ile veri güvenliği katmanları kurabilirsiniz.

🛠️

İzleme ve Loglama

Metrik, log ve uyarı politikalarıyla bulut kaynaklarını izleyebilir ve sorun giderebilirsiniz.

Kimler İçin Uygundur?

NoSQL
JSON veriyle çalışan veri mühendisleri ve geliştiriciler içindir

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

NoSQL ve JSON veriyle çalışan veri mühendisleri ve geliştiriciler içindir.

Eğitime katılmak için hangi ön bilgi gerekir?

Temel SQL, veri modelleme ve Google Cloud servis adlarına aşinalık önerilir. Eksik konular eğitim sırasında tamamlanır.

GCP Data Engineer Pro: Google Cloud Semi-structured Data eğitiminde hangi konular işlenir?

1. gün Şema Tasarımı ve NoSQL Depolama; 2. gün Dataflow ve Beam ve Pub/Sub Mesajlaşma. Ayrıca Firestore, Bigtable ve JSON uygulamalı çalışılır.

Eğitim sonunda sertifika veriliyor mu?

Eğitimi tamamlayan katılımcılara Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir. Google Cloud sertifikasyon sınavı ayrı bir süreçtir; sınav başvurusu ve ücreti ilgili kuruma aittir. Eğitim hazırlık içeriği sunar ve sınav sonucunu vaat etmez.

Eğitim nasıl yürütülür?

Eğitim 2 gündür ve her gün dört modülden oluşur. Anlatımlar Firestore, Bigtable ve BigQuery laboratuvarları ile birleşir; katılımcılar komut, sorgu ve yapılandırmaları kendi ortamlarında çalıştırır.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

GCP DATA ENGINEER PRO: GOOGLE CLOUD SEMI-STRUCTURED DATA EĞİTİMİ