GCP Data Engineer Pro: Data Migrations

Eğitim Hakkında

Database Migration Service, Storage Transfer Service ve Transfer Appliance ekseninde uygulamalı Google Cloud eğitimi

Şirket içi ve diğer bulutlardaki verinin Google Cloud'a taşınmasını işler. Göç stratejileri, Storage Transfer Service ve Transfer Appliance, Database Migration Service ile Cloud SQL/AlloyDB göçü, Datastream CDC, Hadoop iş yükleri için Dataproc, Cloud VPN/Interconnect bağlantısı, doğrulama ve cutover planı çalışılır.

Süre ve Format

3 Gün. Her gün dört modül; her modülde altı teknik başlık, DMS, Storage Transfer ve Datastream laboratuvarları ile desteklenir.

Seviye

Orta Seviye — Database Migration Service, Storage Transfer Service, Transfer Appliance ve Datastream dahil uçtan uca teknik yelpaze

Öğrenme Metodu

Her modül DMS, Storage Transfer ve Datastream laboratuvarları üzerinde yönlendirmeli uygulamayla pekiştirilir; katılımcılar komut, sorgu ve yapılandırmaları adım adım kendi projelerinde çalıştırır.

Neden Bu Eğitim?

🎯Konuya Özgü İçerik

Database Migration Service, Storage Transfer Service ve Transfer Appliance gibi sahada karşılaşılan bileşenler komut ve yapılandırma düzeyinde ele alınır.

🛠️Uygulamalı Laboratuvar

Her modül DMS, Storage Transfer ve Datastream laboratuvarları ile pekiştirilir; katılımcılar öğrendiklerini kendi projelerinde çalıştırır.

📈Üretime Dönük Bakış

Datastream, Cloud Interconnect ve Cutover konularında performans, güvenlik ve maliyet ödünleşimleri gerçek senaryolarla tartışılır.

Anahtar Konular

GCP Data Engineer Pro: Data Migrations EğitimiGCP Data Engineer Pro: Data MigrationsDatabase Migration ServiceStorage Transfer ServiceTransfer ApplianceDatastreamCloud InterconnectCutoverGoogle Cloud eğitimiGCP eğitimiDigital Vizyon Akademi

“Database Migration Service sorusuna cevap vermek için önce hangi servisin neden seçildiğini anlamak gerekir.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

SQL Temeli

SELECT, JOIN ve GROUP BY düzeyinde SQL bilgisi eğitimde yazılacak sorguları rahat takip etmenizi sağlar.

2

Veri Kavramları

ETL/ELT, veri ambarı ve batch ile streaming ayrımı hakkında temel bilgi önerilir.

3

Python Okuryazarlığı

Beam ve Spark örneklerini okuyabilecek kadar Python ya da Java bilgisi faydalıdır.

4

Laboratuvar Ortamı

Google Cloud hesabı, güncel tarayıcı ve Cloud Shell erişimi olan internet bağlantılı bir bilgisayar gerekir.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı, veri Göçü Stratejileri ve Araçları, cloud Storage Yönetimi, google Cloud Kaynak Hiyerarşisi ve Konsol ve vPC Ağları, Güvenlik Duvarı ve Bağlantı konularını laboratuvar senaryolarında uygulayarak günün çıktısını kendi ortamında yeniden üretebilir.

Modül 1

Veri Göçü Stratejileri ve Araçları

Göç yaklaşımları: lift-and-shift, replatform ve yeniden tasarım (refactor)
Database Migration Service ile MySQL / PostgreSQL için sürekli replikasyon
Storage Transfer Service ve Transfer Appliance ile büyük hacimli çevrimdışı aktarım
BigQuery Migration Service ile Teradata/Hive SQL çevirisi
Geçiş öncesi doğrulama, kesinti penceresi (cutover) ve geri dönüş planı
Ağ bant genişliği hesabı, şifreleme ve veri bütünlüğü kontrolü (checksum)

Modül 2

Cloud Storage Yönetimi

Standard, Nearline, Coldline ve Archive depolama sınıfları ile maliyet etkisi
Object lifecycle yönetimi, versioning ve retention policy / bucket lock
Uniform bucket-level access, ACL ve signed URL ile erişim kontrolü
gsutil ve gcloud storage ile paralel yükleme, rsync ve composite upload
Pub/Sub bildirimleri ve Eventarc ile nesne olaylarına tepki
Storage Transfer Service ve çok bölgeli (dual-region) bucket tasarımı

Modül 3

Google Cloud Kaynak Hiyerarşisi ve Konsol

Organization, Folder ve Project hiyerarşisinin politika ve fatura mirasına etkisi
Cloud Shell, gcloud CLI yapılandırmaları (gcloud config configurations) ve proje seçimi
API etkinleştirme, servis kotaları ve kota artış talepleri
Billing account bağlama, proje yaşam döngüsü ve silinen projeyi geri alma süreci
Bölge (region), zon ve multi-region kavramları ile veri konumu kararları
Etiket (label), network tag ve Resource Manager tag farkları

Modül 4

VPC Ağları, Güvenlik Duvarı ve Bağlantı

Auto mode ve custom mode VPC ağları ile alt ağ (subnet) aralık planlaması
VPC firewall kuralları, öncelik değerleri ve hiyerarşik güvenlik duvarı politikaları
Cloud NAT, Cloud Router ve özel IP'li sanal makinelerin internet erişimi
VPC Network Peering, Shared VPC ve Private Service Connect kullanım farkları
Private Google Access ile genel IP'siz Google API erişimi
Cloud VPN ve Cloud Interconnect ile hibrit bağlantı seçenekleri

Günün hedefiKatılımcı, oLTP Depolama: Cloud SQL, AlloyDB ve Spanner, datastream ile Değişiklik Verisi Yakalama (CDC), dataproc ile Hadoop ve Spark İşleme ve bigQuery'ye Veri Yükleme ve Dış Kaynaklar konularını laboratuvar senaryolarında uygulayarak günün çıktısını kendi ortamında yeniden üretebilir.

Modül 1

OLTP Depolama: Cloud SQL, AlloyDB ve Spanner

Cloud SQL (MySQL, PostgreSQL, SQL Server) yüksek erişilebilirlik ve okuma kopyaları
Otomatik yedekleme, point-in-time recovery ve bakım pencereleri
AlloyDB mimarisi, kolonar motor ve okuma havuzu
Cloud Spanner: global tutarlılık, TrueTime, interleaved tablo ve birincil anahtar tasarımı
Bağlantı yöntemleri: Cloud SQL Auth Proxy, private IP ve bağlantı havuzu
İş yüküne göre veritabanı seçim ölçütleri ve maliyet karşılaştırması

Modül 2

Datastream ile Değişiklik Verisi Yakalama (CDC)

CDC kavramı, log tabanlı yakalama ve MySQL binlog / PostgreSQL logical decoding / Oracle LogMiner kaynakları
Datastream bağlantı profilleri, stream oluşturma ve kaynak yapılandırması
Backfill ve sürekli CDC akışı, nesne dahil etme/dışlama kuralları
Hedef olarak Cloud Storage (Avro/JSON) ve BigQuery ile yazma modları
Private connectivity, IP allowlist ve ters SSH tüneli ile güvenli bağlantı
Dataflow şablonları ile Datastream çıktısının BigQuery'de birleştirilmesi ve gecikme izleme

Modül 3

Dataproc ile Hadoop ve Spark İşleme

Dataproc küme mimarisi: master, worker ve preemptible/secondary worker düğümleri
Geçici (ephemeral) küme yaklaşımı ve Cloud Storage connector ile HDFS yerine GCS
Spark job gönderme, PySpark ve Spark SQL ile veri dönüşümü
Autoscaling politikaları ve initialization action ile özelleştirme
Dataproc Serverless for Spark ve Dataproc Metastore
Workflow template ile zincirli iş tanımı ve Hadoop iş yüklerinin GCP'ye taşınması

Modül 4

BigQuery'ye Veri Yükleme ve Dış Kaynaklar

Load job ile CSV, JSON, Avro, Parquet ve ORC dosyalarının yüklenmesi
Storage Write API ve eski streaming insert yöntemlerinin karşılaştırması
Harici tablolar (external table), BigLake tabloları ve Hive bölümlü veri
Federated query ile Cloud SQL, Spanner ve Bigtable kaynaklarına sorgu
BigQuery Data Transfer Service ile SaaS ve Cloud Storage zamanlanmış aktarımı
Şema otomatik algılama, şema evrimi ve hatalı kayıt yönetimi (max bad records)

Günün hedefiKatılımcı, veri Güvenliği ve Gizliliği, veri Ambarı Tasarımı ve ELT Kalıpları, cloud Monitoring, Logging ve Uyarı Yönetimi ve faturalandırma, Bütçe ve Maliyet Kontrolü konularını laboratuvar senaryolarında uygulayarak günün çıktısını kendi ortamında yeniden üretebilir.

Modül 1

Veri Güvenliği ve Gizliliği

Cloud KMS, CMEK ve anahtar döndürme (key rotation) politikaları
VPC Service Controls ile veri sızıntısı çevresi (perimeter) tanımı
Sensitive Data Protection: inspect, de-identify ve tokenization
Secret Manager ile parola ve anahtarların saklanması
Veri kalıcılığı, yedekleme ve KVKK/GDPR kapsamında veri konumu kararları
Audit log ve Security Command Center bulgularının izlenmesi

Modül 2

Veri Ambarı Tasarımı ve ELT Kalıpları

Star schema, snowflake ve geniş (wide) tablo yaklaşımlarının BigQuery'deki yeri
Yavaş değişen boyutlar (SCD Tip 1/2) için MERGE ifadeleri
Staging, core ve mart katmanlı (medallion benzeri) veri ambarı mimarisi
Dataform ile SQL tabanlı ELT iş akışları ve bağımlılık yönetimi
Veri kalitesi kontrolleri (assertion) ve şema değişikliği yönetimi
Dataplex ile veri yönetişimi, lineage ve keşif

Modül 3

Cloud Monitoring, Logging ve Uyarı Yönetimi

Ops Agent kurulumu ve metrik/log toplama yapılandırması
Cloud Monitoring dashboard, MQL/PromQL sorguları ve uptime check
Alerting policy, bildirim kanalları ve SLO / hata bütçesi izleme
Cloud Logging sorgu dili, log-based metric ve log bucket saklama süreleri
Log Router sink'leri ile BigQuery, Cloud Storage ve Pub/Sub'a log aktarımı
Error Reporting, Cloud Trace ve Cloud Profiler ile uygulama teşhisi

Modül 4

Faturalandırma, Bütçe ve Maliyet Kontrolü

Billing hesabı yapısı, proje bağlantıları ve fatura rolleri
Bütçe (budget) tanımı, eşik uyarıları ve Pub/Sub ile otomatik aksiyon
Cloud Billing verisinin BigQuery'ye aktarılması ve maliyet sorguları
Sürekli kullanım indirimi, committed use discount (CUD) ve Spot fiyatlandırma
Etiket tabanlı maliyet dağıtımı ve showback/chargeback yaklaşımı
Recommender ile boşta kalan kaynak ve boyut önerilerinin değerlendirilmesi

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

Veri Göçü

Çevrimiçi ve çevrimdışı göç araçlarını senaryoya göre seçip planlayabilirsiniz.

🔧

Cloud Storage

Bucket tasarımını erişim, yaşam döngüsü ve maliyet açısından yönetebilirsiniz.

📊

VPC ve Ağ Tasarımı

VPC, firewall ve hibrit bağlantı bileşenlerini güvenli biçimde tasarlayabilirsiniz.

🔐

OLTP Veritabanları

Cloud SQL, AlloyDB ve Spanner arasında iş yüküne uygun seçim yapabilirsiniz.

🚀

Dataproc ve Spark

Spark/Hadoop iş yüklerini geçici Dataproc kümeleriyle çalıştırabilirsiniz.

🧩

Veri Yükleme

Batch ve streaming yöntemleriyle BigQuery'ye farklı formatlarda veri aktarabilirsiniz.

📈

Veri Ambarı Tasarımı

Katmanlı veri ambarı mimarisi kurup MERGE ve Dataform ile ELT akışları oluşturabilirsiniz.

🛠️

İzleme ve Loglama

Metrik, log ve uyarı politikalarıyla bulut kaynaklarını izleyebilir ve sorun giderebilirsiniz.

Kimler İçin Uygundur?

Veri göçü projelerinde çalışan mühendisler
DBA'ler
altyapı ekipleri içindir

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

Veri göçü projelerinde çalışan mühendisler, DBA'ler ve altyapı ekipleri içindir.

Eğitime katılmak için hangi ön bilgi gerekir?

Temel SQL, veri modelleme ve Google Cloud servis adlarına aşinalık önerilir. Eksik konular eğitim sırasında tamamlanır.

GCP Data Engineer Pro: Data Migrations eğitiminde hangi konular işlenir?

1. gün Veri Göçü ve Cloud Storage; 2. gün OLTP Veritabanları ve Datastream CDC; 3. gün Veri Güvenliği ve Veri Ambarı Tasarımı. Ayrıca Database Migration Service, Storage Transfer Service ve Transfer Appliance uygulamalı çalışılır.

Eğitim sonunda sertifika veriliyor mu?

Eğitimi tamamlayan katılımcılara Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir. Google Cloud sertifikasyon sınavı ayrı bir süreçtir; sınav başvurusu ve ücreti ilgili kuruma aittir. Eğitim hazırlık içeriği sunar ve sınav sonucunu vaat etmez.

Eğitim nasıl yürütülür?

Eğitim 3 gündür ve her gün dört modülden oluşur. Anlatımlar DMS, Storage Transfer ve Datastream laboratuvarları ile birleşir; katılımcılar komut, sorgu ve yapılandırmaları kendi ortamlarında çalıştırır.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

GCP DATA ENGINEER PRO: DATA MIGRATIONS EĞİTİMİ

Eğitim Hakkında

Neden Bu Eğitim?

Anahtar Konular

Ön Koşullar

Eğitim İçeriği

Veri Göçü Stratejileri ve Araçları

Cloud Storage Yönetimi

Google Cloud Kaynak Hiyerarşisi ve Konsol

VPC Ağları, Güvenlik Duvarı ve Bağlantı

OLTP Depolama: Cloud SQL, AlloyDB ve Spanner

Datastream ile Değişiklik Verisi Yakalama (CDC)

Dataproc ile Hadoop ve Spark İşleme

BigQuery'ye Veri Yükleme ve Dış Kaynaklar

Veri Güvenliği ve Gizliliği

Veri Ambarı Tasarımı ve ELT Kalıpları

Cloud Monitoring, Logging ve Uyarı Yönetimi

Faturalandırma, Bütçe ve Maliyet Kontrolü

Eğitim Kazanımları

Kimler İçin Uygundur?

Sıkça Sorulan Sorular

Sertifikalandırma

Eğitim Bilgileri

Bu Eğitimle Birlikte Tercih Edilenler

Google Associate Cloud Engineer: Configuring Google Cloud Eğitimi

Google Associate Cloud Engineer: Google Cloud Compute Engine Eğitimi

Google Associate Cloud Engineer: Google Cloud Load Balancing Eğitimi

Google Associate Cloud Engineer: Google Cloud Management Eğitimi

Google Associate Cloud Engineer: Google Cloud Operations Suite Eğitimi