Veriyle Veri Bulma: Düzeltme

Eğitim Hakkında

Düzeltme, tekilleştirme ve kategorizasyon teknikleri

Bu eğitim, var olan veriyi kullanarak veriyi düzeltme ve kategorilere ayırma (correction & categorization) tekniklerini öğretir; veriyle veri bulma (using data to find data) yaklaşımının düzeltme ayağına odaklanır. Veri temizleme ve standardizasyon (adres, isim, telefon, tarih normalizasyonu), referans/lookup verisiyle doğrulama ele alınır. Bulanık eşleştirme (fuzzy matching: Levenshtein, Jaro-Winkler, token benzerliği), kayıt birleştirme (record linkage) ve tekilleştirme (deduplication) uygulanır. Kategorilere ayırma için kural tabanlı sınıflandırma, sözlük/taksonomi eşleme ve denetimli ML sınıflandırma (metin kategorileme) işlenir. Kalite ölçümü (precision/recall), eşik ayarı, insan doğrulaması ve geri besleme döngüsü gösterilir. Örnekler müşteri/ürün ana verisi üzerinde kurgulanır.

Süre ve Format

2 Gün. Her gün dört modül; teknikler gerçek kirli ana veri setleri üzerinde uygulanır.

Seviye

Orta Seviye — Veriyle veri bulma: düzeltme, standardizasyon, eşleştirme ve kategorilere ayırma.

Öğrenme Metodu

Gerçek müşteri/ürün verisi üzerinde standardizasyon, bulanık eşleştirme ve sınıflandırma uygulaması.

Neden Bu Eğitim?

🔧Standardizasyon

Adres/isim/telefon verisini tutarlı biçime getirirsiniz.

🔗Eşleştirme

Bulanık eşleştirmeyle kopya kayıtları doğru birleştirirsiniz.

🏷️Kategorizasyon

Kural ve ML ile kayıtları doğru kategoriye ayırırsınız.

Anahtar Konular

veri düzeltmeveri kategorizasyonbulanık eşleştirmerecord linkagededuplicationstandardizasyonlevenshteinjaro-winklermetin sınıflandırmaveri kalitesi

“Doğru etiketlenmemiş veri, bulunamayan veriden farksızdır.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

Veri Temeli

Tablo, alan ve veri kalitesi kavramına aşinalık faydalıdır.

2

Python/SQL

pandas veya SQL ile temel işlem avantaj sağlar.

3

İstatistik

Precision/recall gibi ölçüt kavramını bilmek yardımcı olur.

4

Ortam

Python (pandas, rapidfuzz/recordlinkage) ya da SQL kurulu ortam.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı, veriyi standartlaştırır ve bulanık eşleştirmeyle birleştirir.

Modül 1

Temizleme ve Profil

Veri profilleme (profiling)
Eksik, aykırı ve tutarsız tespiti
Boşluk ve biçim kirliliği
Referans listeyle karşılaştırma
Kirlilik türlerini sınıflama
Düzeltme önceliği

Modül 2

Standardizasyon

İsim ve unvan normalizasyonu
Adres ayrıştırma ve biçimleme
Telefon ve e-posta standardı
Tarih/sayı normalizasyonu
Büyük/küçük harf ve kısaltma
Kanonik biçim tanımı

Modül 3

Bulanık Eşleştirme

Levenshtein (düzenleme) mesafesi
Jaro-Winkler benzerliği
Token ve n-gram benzerliği
Fonetik eşleme (Soundex/Metaphone)
Bloklama (blocking) ile hız
Eşik ve skor ayarı

Modül 4

Kayıt Birleştirme

Record linkage akışı
Aday çift üretme
Tekilleştirme (deduplication)
Altın kayıt (golden record) oluşturma
Çakışan değerleri uzlaştırma
Birleştirme doğrulama

Günün hedefiKatılımcı, kayıtları kategorilere ayırır ve kaliteyi ölçer.

Modül 1

Kural Tabanlı Kategorizasyon

Anahtar kelime ve desen kuralı
Regex ile kategori atama
Öncelik ve çakışma yönetimi
İstisna ve varsayılan kategori
Kural bakımı ve sürümleme
Kural kapsamını ölçme

Modül 2

Taksonomi/Sözlük Eşleme

Taksonomi/hiyerarşi tasarımı
Sözlük (gazetteer) ile eşleme
Eş anlamlı ve varyant yönetimi
Çok dilli etiketleme
Belirsiz eşleşme yönetimi
Taksonomi bakımı

Modül 3

ML ile Sınıflandırma

Metin özellik çıkarımı (TF-IDF)
Denetimli sınıflandırıcı eğitimi
Etiketli veri ve örnekleme
Sınıf dengesizliği yönetimi
Güven skoru ve eşik
Kural+ML hibrit yaklaşım

Modül 4

Kalite ve Geri Besleme

Precision, recall ve F1
Karışıklık matrisi (confusion matrix)
İnsan doğrulaması (human-in-the-loop)
Hatalı etiketi geri besleme
Eşik optimizasyonu
Sürekli iyileştirme döngüsü

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

Profilleme

Veri profillemeyle kirlilik türlerini tespit edersiniz.

✅

Standardizasyon

Adres/isim/telefon verisini kanonik biçime getirirsiniz.

✅

Bulanık Eşleştirme

Levenshtein ve Jaro-Winkler ile benzer kayıtları eşlersiniz.

✅

Tekilleştirme

Record linkage ile kopyaları birleştirip altın kayıt kurarsınız.

✅

Kural Kategorizasyon

Kural ve taksonomiyle kayıtları kategorize edersiniz.

✅

ML Sınıflandırma

Metin sınıflandırıcıyla otomatik kategori atarsınız.

✅

Kalite Ölçümü

Precision/recall ve F1 ile sonucu değerlendirirsiniz.

✅

Geri Besleme

İnsan doğrulaması ve geri beslemeyle sürekli iyileştirirsiniz.

Kimler İçin Uygundur?

Veri kalitesi uzmanları
veri analistleri
MDM ekipleri
veri temizleme sürecini derinleştirmek isteyenler için uygundur

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

Veri kalitesi uzmanları, veri analistleri, MDM ekipleri ve veri temizleme sürecini derinleştirmek isteyenler için uygundur.

Bulanık eşleştirme nedir?

Birebir aynı olmayan ama benzeşen kayıtları Levenshtein, Jaro-Winkler ve fonetik yöntemlerle eşleştirme tekniğidir.

Kural mı ML mi kullanmalıyım?

Duruma bağlıdır; eğitimde kural tabanlı, taksonomi ve ML sınıflandırma ile hibrit yaklaşım karşılaştırmalı ele alınır.

Kaliteyi nasıl ölçeriz?

Precision, recall, F1 ve karışıklık matrisi ile insan doğrulaması ve eşik optimizasyonu gösterilir.

Eğitim sonunda sertifika veriliyor mu?

Katılım ve değerlendirme sonrası Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

USING DATA TO FIND DATA: CORRECTION & CATEGORIZATION EĞİTİMİ