Veri Dönüştürme (Transforming Data)

Eğitim Hakkında

Dönüşüm boru hattı tasarımı ve kalite odaklı yaklaşım

Bu eğitim, veriyi kaynaktan hedefe taşırken uygulanan dönüştürme (transformation) sürecini boru hattı perspektifiyle öğretir. Biçim dönüşümleri (CSV/JSON/Parquet), kodlama ve karakter seti düzeltmeleri, şekil değişimi (uzun-geniş, pivot/unpivot) ve birleştirme ele alınır. Türetilmiş alan oluşturma, kod eşleme (lookup), birim/para dönüşümü ve referans verisiyle zenginleştirme uygulanır. Dönüşüm kalitesi için şema doğrulama, satır/toplam mutabakatı, tekilleştirme ve idempotent (tekrar çalışınca aynı sonucu veren) tasarım işlenir. Dönüşümlerin adımlanması, günlüklenmesi, hata yönetimi ve tekrarlanabilir hâle getirilmesi gerçek örneklerle gösterilir. İçerik araç bağımsız anlatılır; örnekler SQL ve Python ile sunulur.

Süre ve Format

2 Gün. Her gün dört modül; her konu SQL ve Python örnekleriyle uygulamalı işlenir.

Seviye

Temel Seviye — Veri dönüştürme boru hatları: biçim/şekil değişimi, zenginleştirme, kalite ve tekrarlanabilirlik.

Öğrenme Metodu

Gerçek kirli veri setleri üzerinde adım adım dönüşüm boru hattı kurma ve kalite doğrulaması.

Neden Bu Eğitim?

🔁Tekrarlanabilirlik

İdempotent tasarımla dönüşümü güvenle yeniden çalıştırırsınız.

➕Zenginleştirme

Referans veri ve lookup ile kayıtları anlamlandırırsınız.

🛡️Kalite

Şema doğrulama ve mutabakatla dönüşüm hatalarını yakalarsınız.

Anahtar Konular

veri dönüştürmetransforming dataveri boru hattışema doğrulamaidempotentpivot unpivotveri zenginleştirmeetlmutabakatgreat expectations

“İyi bir dönüşüm veriyi değiştirir ama güvenini asla azaltmaz.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

Temel SQL

SELECT, JOIN ve WHERE mantığına aşinalık faydalıdır.

2

Python Girişi

pandas'a giriş düzeyinde bakmış olmak avantaj sağlar.

3

Dosya Biçimleri

CSV/JSON kavramını bilmek örnekleri kolaylaştırır.

4

Ortam

SQL veritabanı ve Python/pandas kurulu çalışma ortamı.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı, veriyi biçim/şekil olarak dönüştürür ve referans veriyle zenginleştirir.

Modül 1

Biçim Dönüşümü

CSV, JSON ve Parquet dönüşümü
Kodlama (UTF-8) ve karakter düzeltme
Sınırlayıcı ve kaçış karakteri yönetimi
Tip çıkarımı ve zorlama
Sıkıştırma ve kolonlu biçim avantajı
Dönüşümde bilgi kaybını önleme

Modül 2

Şekil Değişimi

Uzun-geniş (pivot) dönüşümü
Geniş-uzun (unpivot/melt)
İç içe JSON'u düzleştirme
Dizi alanını satıra açma (explode)
Tidy (düzgün) veri ilkesi
Şekil seçiminin analize etkisi

Modül 3

Türetilmiş Alan

Hesaplanmış sütun oluşturma
Koşullu alan (CASE/if-else)
Tarih bileşeni ve kovalama (bin)
Oran ve yüzde türetme
Metinden alan ayrıştırma (regex)
Anlamlı adlandırma

Modül 4

Zenginleştirme

Lookup tablosuyla kod eşleme
Referans veriyle join
Birim ve para birimi dönüşümü
Coğrafi/kategori etiketleme
Eksik referans yönetimi
Zenginleştirme sonrası doğrulama

Günün hedefiKatılımcı, dönüşümü kalite kurallarıyla güvenceler ve tekrarlanabilir kurar.

Modül 1

Şema Doğrulama

Beklenen sütun ve tip kontrolü
Zorunlu alan ve aralık kuralı
Benzersizlik ve anahtar kontrolü
Referans bütünlüğü
Kural ihlallerini raporlama
Doğrulama kütüphaneleri (ör. pydantic/Great Expectations)

Modül 2

Mutabakat

Dönüşüm öncesi/sonrası satır sayısı
Toplam ve tutar mutabakatı
Beklenmeyen NULL tespiti
Kayıp ve çoğaltma kontrolü
Örnek karşılaştırma (spot check)
Mutabakat raporu üretimi

Modül 3

İdempotent Tasarım

Tekrar çalışınca aynı sonuç
Ekle-yerine-geç (upsert) mantığı
Tam ve artımlı (incremental) yükleme
Kısmi hatada geri alma
Deterministik dönüşüm yazımı
Yan etkisiz adımlar

Modül 4

İzleme ve Belgeleme

Adım bazlı günlükleme
Hata yakalama ve yeniden deneme
Çalışma süresi ve hacim ölçümü
Dönüşüm sözlüğü (data dictionary)
Sürüm ve değişiklik takibi
Tekrarlanabilir proje düzeni

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

Biçim Dönüşümü

CSV/JSON/Parquet arası dönüşümü kayıpsız yaparsınız.

✅

Şekil Değişimi

Pivot/unpivot ve düzleştirmeyle veriyi yeniden şekillendirirsiniz.

✅

Türetme

Koşullu ve hesaplanmış alanlarla veriyi zenginleştirirsiniz.

✅

Zenginleştirme

Lookup ve referans veriyle kayıtları anlamlandırırsınız.

✅

Şema Doğrulama

Tip, aralık ve anahtar kurallarıyla dönüşümü doğrularsınız.

✅

Mutabakat

Satır ve toplam mutabakatıyla dönüşüm doğruluğunu denetlersiniz.

✅

İdempotentlik

Tekrar çalışınca aynı sonucu veren dönüşümler yazarsınız.

✅

İzlenebilirlik

Günlükleme ve belgelemeyle boru hattını izlenebilir kılarsınız.

Kimler İçin Uygundur?

Veri analistleri
ETL geliştiricileri
veri dönüştürme sürecini sistemli öğrenmek isteyenler için uygundur

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

Veri analistleri, ETL geliştiricileri ve veri dönüştürme sürecini sistemli öğrenmek isteyenler için uygundur.

Veri dönüşümü eğitiminden farkı nedir?

Bu eğitim dönüşümü boru hattı, kalite ve tekrarlanabilirlik perspektifinden ele alır; tekil fonksiyon anlatımı ikinci plandadır.

İdempotent dönüşüm neden önemli?

Boru hattı tekrar çalıştığında veriyi bozmadan aynı sonucu üretmesini sağlar, bu da güvenli yeniden yüklemeye imkân verir.

Hangi araçlar kullanılıyor?

İçerik araç bağımsızdır; örnekler SQL ve Python/pandas, doğrulama için Great Expectations benzeri yaklaşımlarla gösterilir.

Eğitim sonunda sertifika veriliyor mu?

Katılım ve değerlendirme sonrası Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

TRANSFORMING DATA EĞİTİMİ