Monitoring and Troubleshooting Data Warehouses

Eğitim Hakkında

INFORMATION_SCHEMA.JOBS, Slot kullanımı ve Query execution graph ekseninde uygulamalı Google Cloud eğitimi

BigQuery veri ambarı izleme ve sorun gidermeye odaklanır. INFORMATION_SCHEMA.JOBS ile iş analizi, slot kullanımı ve rezervasyon metrikleri, sorgu planı ile darboğaz, hata kodları, Cloud Monitoring alert politikaları, audit log, IAM ve policy tag denetimi, ölçekleme ve maliyet kontrolü uygulamalı gösterilir.

Süre ve Format

2 Gün. Her gün dört modül; her modülde altı teknik başlık, INFORMATION_SCHEMA ve Cloud Monitoring laboratuvarları ile desteklenir.

Seviye

İleri Seviye — INFORMATION_SCHEMA.JOBS, Slot kullanımı, Query execution graph ve Cloud Monitoring dahil uçtan uca teknik yelpaze

Öğrenme Metodu

Her modül INFORMATION_SCHEMA ve Cloud Monitoring laboratuvarları üzerinde yönlendirmeli uygulamayla pekiştirilir; katılımcılar komut, sorgu ve yapılandırmaları adım adım kendi projelerinde çalıştırır.

Neden Bu Eğitim?

🎯Konuya Özgü İçerik

INFORMATION_SCHEMA.JOBS, Slot kullanımı ve Query execution graph gibi sahada karşılaşılan bileşenler komut ve yapılandırma düzeyinde ele alınır.

🛠️Uygulamalı Laboratuvar

Her modül INFORMATION_SCHEMA ve Cloud Monitoring laboratuvarları ile pekiştirilir; katılımcılar öğrendiklerini kendi projelerinde çalıştırır.

📈Üretime Dönük Bakış

Cloud Monitoring, Audit log ve Reservation konularında performans, güvenlik ve maliyet ödünleşimleri gerçek senaryolarla tartışılır.

Anahtar Konular

GCP Data Engineer Pro: Monitoring and Troubleshooting Data Warehouses EğitimiGCP Data Engineer Pro: Monitoring and Troubleshooting Data WarehousesINFORMATION_SCHEMA.JOBSSlot kullanımıQuery execution graphCloud MonitoringAudit logReservationGoogle Cloud eğitimiGCP eğitimiDigital Vizyon Akademi

“INFORMATION_SCHEMA.JOBS sorusuna cevap vermek için önce hangi servisin neden seçildiğini anlamak gerekir.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

SQL Temeli

SELECT, JOIN ve GROUP BY düzeyinde SQL bilgisi eğitimde yazılacak sorguları rahat takip etmenizi sağlar.

2

Veri Kavramları

ETL/ELT, veri ambarı ve batch ile streaming ayrımı hakkında temel bilgi önerilir.

3

Python Okuryazarlığı

Beam ve Spark örneklerini okuyabilecek kadar Python ya da Java bilgisi faydalıdır.

4

Laboratuvar Ortamı

Google Cloud hesabı, güncel tarayıcı ve Cloud Shell erişimi olan internet bağlantılı bir bilgisayar gerekir.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı, bigQuery Mimarisi ve Temel Kavramlar, bigQuery İzleme ve Sorun Giderme, cloud Monitoring, Logging ve Uyarı Yönetimi ve bigQuery Sorgu Optimizasyonu ve Performans konularını laboratuvar senaryolarında uygulayarak günün çıktısını kendi ortamında yeniden üretebilir.

Modül 1

BigQuery Mimarisi ve Temel Kavramlar

Dremel yürütme motoru, Colossus depolama ve Capacitor sütunlu format yapısı
Hesaplama ile depolamanın ayrılması ve slot kavramı
Dataset, table, view ve routine nesneleri ile proje/dataset/tablo adlandırması
On-demand fiyatlandırma ile BigQuery Editions (Standard, Enterprise, Enterprise Plus) farkı
bq CLI, Console ve istemci kütüphaneleri ile iş (job) çalıştırma
Sandbox kullanımı, ücretsiz katman limitleri ve kota yönetimi

Modül 2

BigQuery İzleme ve Sorun Giderme

INFORMATION_SCHEMA.JOBS_BY_PROJECT ile iş geçmişi ve hata analizi
Slot kullanımı, bekleyen iş (pending) ve rezervasyon metriklerinin Cloud Monitoring'de izlenmesi
resourcesExceeded, quotaExceeded gibi hata kodlarının nedenleri ve çözümleri
Audit log (BigQueryAuditMetadata) ile kim-ne-zaman-ne kadar sorgusu
Bölüm ve kümeleme verimliliğinin INFORMATION_SCHEMA.PARTITIONS ile ölçülmesi
Pahalı sorgular için alert politikaları ve otomatik bildirim

Modül 3

Cloud Monitoring, Logging ve Uyarı Yönetimi

Ops Agent kurulumu ve metrik/log toplama yapılandırması
Cloud Monitoring dashboard, MQL/PromQL sorguları ve uptime check
Alerting policy, bildirim kanalları ve SLO / hata bütçesi izleme
Cloud Logging sorgu dili, log-based metric ve log bucket saklama süreleri
Log Router sink'leri ile BigQuery, Cloud Storage ve Pub/Sub'a log aktarımı
Error Reporting, Cloud Trace ve Cloud Profiler ile uygulama teşhisi

Modül 4

BigQuery Sorgu Optimizasyonu ve Performans

Query execution graph (sorgu planı) okuma ve aşama (stage) bazlı darboğaz analizi
SELECT * kaçınma, erken filtreleme ve JOIN sıralama teknikleri
Önbellek (cache) davranışı, dry run ve maximum bytes billed sınırı
APPROX_COUNT_DISTINCT gibi yaklaşık fonksiyonlar ve veri çarpıklığı (skew) yönetimi
BI Engine rezervasyonu, search index ve vector index kullanımı
INFORMATION_SCHEMA.JOBS ile pahalı sorguların bulunması

Günün hedefiKatılımcı, bigQuery Yönetimi, Güvenlik ve Rezervasyonlar, analitikte Ölçekleme Teknikleri, faturalandırma, Bütçe ve Maliyet Kontrolü ve veri Güvenliği ve Gizliliği konularını laboratuvar senaryolarında uygulayarak günün çıktısını kendi ortamında yeniden üretebilir.

Modül 1

BigQuery Yönetimi, Güvenlik ve Rezervasyonlar

Proje, dataset ve tablo düzeyinde IAM rolleri (dataViewer, jobUser, dataEditor)
Authorized view, authorized dataset ve row-level security erişim politikaları
Policy tag ile kolon düzeyi güvenlik ve Data Catalog / Dataplex entegrasyonu
Reservation, assignment ve slot taahhütleri (commitment) ile kapasite yönetimi
CMEK ile şifreleme ve audit log ile erişim izleme
Bütçe sınırları, custom quota ve kullanıcı bazlı sorgu kısıtlama

Modül 2

Analitikte Ölçekleme Teknikleri

BigQuery slot autoscaling ve rezervasyon boyutlandırma
Dataflow yatay ölçekleme, Streaming Engine ve worker tipi seçimi
Bigtable küme düğüm sayısı, replikasyon ve load test (Key Visualizer)
Spanner işlem birimi (processing unit) ve bölünme (split) davranışı
Ölçekleme sırasında maliyet izleme ve kota yönetimi
Darboğaz tespiti için Cloud Monitoring dashboard'ları

Modül 3

Faturalandırma, Bütçe ve Maliyet Kontrolü

Billing hesabı yapısı, proje bağlantıları ve fatura rolleri
Bütçe (budget) tanımı, eşik uyarıları ve Pub/Sub ile otomatik aksiyon
Cloud Billing verisinin BigQuery'ye aktarılması ve maliyet sorguları
Sürekli kullanım indirimi, committed use discount (CUD) ve Spot fiyatlandırma
Etiket tabanlı maliyet dağıtımı ve showback/chargeback yaklaşımı
Recommender ile boşta kalan kaynak ve boyut önerilerinin değerlendirilmesi

Modül 4

Veri Güvenliği ve Gizliliği

Cloud KMS, CMEK ve anahtar döndürme (key rotation) politikaları
VPC Service Controls ile veri sızıntısı çevresi (perimeter) tanımı
Sensitive Data Protection: inspect, de-identify ve tokenization
Secret Manager ile parola ve anahtarların saklanması
Veri kalıcılığı, yedekleme ve KVKK/GDPR kapsamında veri konumu kararları
Audit log ve Security Command Center bulgularının izlenmesi

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

BigQuery Mimarisi

BigQuery'nin depolama-hesaplama ayrımını ve slot modelini açıklayabilirsiniz.

🔧

BigQuery İzleme

INFORMATION_SCHEMA ve Cloud Monitoring ile BigQuery sorunlarını teşhis edebilirsiniz.

📊

İzleme ve Loglama

Metrik, log ve uyarı politikalarıyla bulut kaynaklarını izleyebilir ve sorun giderebilirsiniz.

🔐

Sorgu Optimizasyonu

Sorgu planını okuyup maliyet ve süreyi düşüren optimizasyonlar uygulayabilirsiniz.

🚀

BigQuery Yönetimi

Satır/kolon güvenliği ve slot rezervasyonlarıyla BigQuery ortamını yönetebilirsiniz.

🧩

Ölçekleme

Analitik platform bileşenlerini yük altında ölçekleyip izleyebilirsiniz.

📈

Maliyet Kontrolü

Bütçe, etiket ve fatura dışa aktarımıyla maliyeti izleyip kontrol altına alabilirsiniz.

🛠️

Veri Güvenliği

CMEK, VPC Service Controls ve DLP ile veri güvenliği katmanları kurabilirsiniz.

Kimler İçin Uygundur?

Veri ambarı operasyonundan sorumlu mühendisler
platform yöneticileri içindir

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

Veri ambarı operasyonundan sorumlu mühendisler ve platform yöneticileri içindir.

Eğitime katılmak için hangi ön bilgi gerekir?

Temel SQL, veri modelleme ve Google Cloud servis adlarına aşinalık önerilir. Eksik konular eğitim sırasında tamamlanır.

GCP Data Engineer Pro: Monitoring and Troubleshooting Data Warehouses eğitiminde hangi konular işlenir?

1. gün BigQuery Mimarisi ve BigQuery İzleme; 2. gün BigQuery Yönetimi ve Ölçekleme. Ayrıca INFORMATION_SCHEMA.JOBS, Slot kullanımı ve Query execution graph uygulamalı çalışılır.

Eğitim sonunda sertifika veriliyor mu?

Eğitimi tamamlayan katılımcılara Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir. Google Cloud sertifikasyon sınavı ayrı bir süreçtir; sınav başvurusu ve ücreti ilgili kuruma aittir. Eğitim hazırlık içeriği sunar ve sınav sonucunu vaat etmez.

Eğitim nasıl yürütülür?

Eğitim 2 gündür ve her gün dört modülden oluşur. Anlatımlar INFORMATION_SCHEMA ve Cloud Monitoring laboratuvarları ile birleşir; katılımcılar komut, sorgu ve yapılandırmaları kendi ortamlarında çalıştırır.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

GCP DATA ENGINEER PRO: MONITORING AND TROUBLESHOOTING DATA WAREHOUSES EĞİTİMİ