Hadoop MapReduce ile Veri Filtreleme Eğitimi

Eğitim Hakkında

Filtreleme desenleri odaklı uygulamalı MapReduce eğitimi

Bu eğitim, Hadoop MapReduce ile büyük veri setlerinden ilgili kayıtları filtreleme, ayıklama ve seçme desenlerini öğretir. Map-only filtreleme işleri, koşullu kayıt seçimi, örnekleme (sampling), top-N deseni, tekilleştirme (distinct), Bloom filtresi ile üyelik testi, distributed cache ile referans veri dağıtımı ve Counter ile filtre istatistikleri gibi somut konuları kapsar. Katılımcı gerçek veri setleri üzerinde performanslı filtreleme işleri yazarak gereksiz veriyi erken eleme pratiği kazanır.

Süre ve Format

2 Gün. Her gün dört modül; her modül kısa anlatım ve Hadoop üzerinde kod labı içerir.

Seviye

Temel Seviye — Hadoop MapReduce ile büyük veri setlerinde filtreleme, ayıklama ve seçim desenleri uygulama.

Öğrenme Metodu

Tek düğümlü Hadoop ortamında filtreleme desenlerini Java ile kodlayıp örnek veri setleri üzerinde çalıştırarak öğrenme.

Neden Bu Eğitim?

🔎Erken Eleme

Gereksiz kaydı hattın başında eleyerek işleme maliyetini ciddi biçimde düşürürsünüz.

🧩Hazır Desenler

Filtreleme, top-N ve distinct gibi tekrar eden desenleri doğrudan uygulayabilirsiniz.

⚡Performans

Bloom filtresi ve distributed cache ile pahalı aramaları hızlandırırsınız.

Anahtar Konular

hadoop mapreduceveri filtrelememap-only işbloom filtresidistributed cachetop-n desenidistinct mapreducebüyük veri ön işlememapreduce desenlerihadoop java

“En hızlı işlenen veri, hiç işlenmeyen gereksiz veridir.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

MapReduce Temeli

Mapper ve Reducer kavramlarına giriş düzeyinde aşinalık gerekir.

2

Java Bilgisi

Temel Java ile kod yazabilmek beklenir.

3

HDFS

HDFS'e veri yükleme ve okuma pratiği faydalıdır.

4

Çalışma Ortamı

JDK ve tek düğümlü Hadoop kurulu bir makine önerilir.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı temel filtreleme desenlerini kodlar ve büyük veride koşullu seçim yapar.

Modül 1

Map-Only Filtreleme

Reducer'sız (map-only) iş yapısı
Koşula göre kayıt yazma/atlama
NullWritable çıktı kullanımı
Reducer sayısını sıfıra çekme
Shuffle'dan kaçınmanın faydası
Çıktı bölme ve boyut

Modül 2

Koşullu Seçim

Alan ayrıştırma ve koşul kurma
Birden çok kriterli filtre
Regex ile desen eşleme
Sayısal eşik filtresi
Tarih aralığı filtresi
Hatalı kayıt ayıklama

Modül 3

Örnekleme

Rastgele örnekleme
Oransal örnekleme
Deterministik örnekleme (hash)
Stratified örneklemeye giriş
Örneklem boyutu kontrolü
Tekrarlanabilir tohum (seed)

Modül 4

Top-N Deseni

Her mapper'da yerel top-N
Reducer'da global top-N
TreeMap ile sıralı tutma
Bellek kullanımı dengesi
Eşitlik durumları
Sonuç doğrulama

Günün hedefiKatılımcı tekilleştirme, Bloom filtresi ve distributed cache ile ileri filtreleme uygular.

Modül 1

Tekilleştirme (Distinct)

Anahtar olarak kayıt kullanma
Reducer ile tekilleştirme
Combiner ile ön eleme
Bileşik anahtar tasarımı
Büyük kardinalite yönetimi
Çıktı doğrulama

Modül 2

Bloom Filtresi

Üyelik testi mantığı
Yanlış pozitif oranı
Filtre boyutu ve hash sayısı
Hadoop BloomFilter sınıfı
Filtreyi kurma ve dağıtma
Join öncesi eleme

Modül 3

Distributed Cache

Referans veriyi dağıtma
setup() içinde yükleme
Küçük tabloyla eşleştirme
Map-side lookup
Bellek sınırı dikkat
Cache dosya erişimi

Modül 4

İstatistik ve Ayar

Counter ile filtre sayımı
Filtre oranı raporlama
Girdi sıkıştırması
Split boyutu ayarı
Loglardan doğrulama
Darboğaz tespiti

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

Map-Only İş

Reducer'sız filtreleme işleri yazarak gereksiz shuffle'dan kaçınabilirsiniz.

✅

Koşullu Filtre

Çok kriterli ve regex tabanlı filtreleme uygulayabilirsiniz.

✅

Örnekleme

Tekrarlanabilir örnekleme işleri kurabilirsiniz.

✅

Top-N

Yerel ve global top-N deseni ile sıralı seçim yapabilirsiniz.

✅

Tekilleştirme

Büyük veride distinct kayıt üretebilirsiniz.

✅

Bloom Filtresi

Üyelik testiyle join öncesi hızlı eleme yapabilirsiniz.

✅

Distributed Cache

Referans veriyi map-side lookup için dağıtabilirsiniz.

✅

Filtre İstatistiği

Counter ile filtre etkinliğini ölçebilirsiniz.

Kimler İçin Uygundur?

MapReduce temeli olan geliştiriciler
veri ayıklama senaryolarıyla çalışan mühendisler
büyük veri ön işleme ile ilgilenenler için uygundur

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

MapReduce temeli olan geliştiriciler, veri ayıklama senaryolarıyla çalışan mühendisler ve büyük veri ön işlemeyle ilgilenenler için uygundur.

Map-only iş nedir?

Reducer kullanmayan, yalnızca map fazında kayıtları filtreleyen iştir; shuffle-sort maliyetini ortadan kaldırarak filtrelemeyi hızlandırır.

Bloom filtresi neden kullanılır?

Büyük bir kümede üyelik testini az bellekle yapmayı sağlar; join öncesi eşleşmeyen kayıtları hızla eleyerek maliyeti düşürür.

Önceden MapReduce bilmek şart mı?

Mapper/Reducer kavramlarına giriş düzeyinde aşinalık beklenir; derin deneyim gerekmez.

Sertifika veriliyor mu?

Eğitim sonunda Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

FILTERING DATA USING HADOOP MAPREDUCE EĞİTİMİ