PENTAHO DATA INTEGRATION İLERİ DÜZEY EĞİTİMİ

Pentaho'yu kurumsal ve ölçekli ETL'e taşı

Carte kümelemeden metadata injection'a, Hadoop/Hive adımlarından CDC ve performans ayarına kadar Pentaho ile kurumsal ETL mimarisi kurun.

İleri düzey Pentaho Data Integration eğitimi: Carte kümeleme ve bölümleme, metadata injection ile dinamik ETL, UDJC/JavaScript kodlu adımlar, Hadoop/Hive/Spark Big Data, CDC ve SCD, commit/rowset/bulk loader performans ayarı, kurumsal repository ve CI/CD.

4 gün İleri Seviye Online / Yüz Yüze / Hibrit Sertifikalı

Eğitim Hakkında

Carte kümeleme, metadata injection, Big Data, CDC ve performans ayarı

Bu ileri seviye eğitim, Pentaho Data Integration'ı kurumsal ölçekte ele alır. Carte sunucusu, master/slave kümeleme ve veri bölümleme (partitioning) ile paralel yürütme; metadata injection ile dinamik transformation üretimi; User Defined Java Class, JavaScript ve subtransformation ile ileri mantık işlenir. Ardından Big Data adımları (HDFS, Hive, HBase, Pentaho MapReduce/Spark), değişim veri yakalama (CDC) ve yavaş değişen boyut (SCD Tip 1/2), performans ayarı (commit size, rowset, bellek), kurumsal repository, loglama ve CI/CD ile dağıtım uygulanır. Katılımcılar ölçeklenebilir ve bakımı kolay bir ETL mimarisi tasarlar.

Süre ve Format

4 Gün. Her gün dört modül; katılımcılar kümeleme, metadata injection, Big Data ve performans eksenlerinde kurumsal ETL mimarisini kurar.

Seviye

İleri Seviye — Pentaho ile ölçeklenebilir ve kurumsal ETL: Carte kümeleme, metadata injection, Big Data adımları, CDC, performans ayarı ve CI/CD odaklı ileri tasarım.

Öğrenme Metodu

Katılımcılar çok adımlı gerçek senaryolarda metadata injection, kümeleme ve Big Data adımlarını Spoon üzerinde uygulamalı tasarlar ve ayarlar.

Neden Bu Eğitim?

🚀Ölçeklenebilirlik

Carte kümeleme ve bölümleme ile ETL'i paralel ve ölçekli çalıştırırsınız.

🧬Dinamik ETL

Metadata injection ile tek şablondan yüzlerce dönüşümü dinamik üretirsiniz.

🐘Big Data

Hadoop, Hive ve Spark adımlarıyla büyük veriyi Pentaho'dan işlersiniz.

Anahtar Konular

pentaho ileripentaho kümelememetadata injectionpentaho big datacarte sunucusucdc etlscd pentahoetl performanspentaho sparkkurumsal etl
“Kurumsal ETL, çalışan bir akış değil; ölçeklenen, izlenen ve güvenle değiştirilebilen bir sistemdir.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1
Pentaho Temeli

Transformation, job ve temel adımlara hakimiyet gereklidir.

2
SQL

İleri SQL ve veritabanı yükleme bilgisi beklenir.

3
Mimari Bilgi

Dağıtık işleme ve ağ kavramlarına aşinalık faydalıdır.

4
Big Data (opsiyonel)

Hadoop/Hive kavramlarına aşinalık Big Data modülünü kolaylaştırır.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı, Pentaho'yu kümeleme ve bölümleme ile ölçeklendirebilir.
Modül 1
Carte Sunucusu
  • Carte ile transformation/job'un uzaktan çalıştırılması
  • Master ve slave rollerinin yapılandırılması
  • Carte REST servisi ile uzaktan tetikleme
  • Güvenlik ve kimlik doğrulama ayarı
  • Carte loglarının izlenmesi
  • Sunucu tabanlı çalıştırmanın avantajı
Modül 2
Küme Tanımı
  • Cluster schema oluşturma
  • Master ve slave sunucuların eklenmesi
  • Adımların kümeye (clustered) işaretlenmesi
  • Veri dağıtımının kümede yürütülmesi
  • Dinamik küme boyutlandırma
  • Küme çalıştırmasının izlenmesi
Modül 3
Bölümleme (Partitioning)
  • Partition schema ile veri bölümleme
  • Anahtara göre satır dağıtımı
  • Paralel yürütmede veri yerelliği
  • Round-robin ve hash dağıtımı
  • Bölümleme ile veritabanı yük dengesi
  • Bölümlemenin performansa etkisi
Modül 4
Paralel Tasarım
  • Adım kopyası (step copies) ile çoklu iş parçacığı
  • Rowset boyutunun paralellikteki rolü
  • Darboğaz adımın tespiti
  • Blocking adımların akışa etkisi
  • Paralel tasarım kalıpları
  • Ölçek testinin yorumlanması
Günün hedefiKatılımcı, metadata injection ile dinamik, yeniden kullanılabilir ETL tasarlayabilir.
Modül 1
Metadata Injection
  • ETL Metadata Injection adımının mantığı
  • Şablon transformation hazırlama
  • Alan eşlemesinin dışarıdan enjekte edilmesi
  • Tek şablonla çok tabloyu işleme
  • Dinamik kaynak/hedef eşlemesi
  • Injection ile bakım maliyetinin düşmesi
Modül 2
Subtransformation ve Mapping
  • Mapping (sub-transformation) ile modülerlik
  • Girdi/çıktı spesifikasyonu tanımı
  • Yeniden kullanılabilir dönüşüm bileşenleri
  • Simple mapping ve parametre geçişi
  • Modülerliğin bakıma katkısı
  • Alt akışların test edilmesi
Modül 3
Kodlu Adımlar
  • User Defined Java Class ile özel mantık
  • Modified JavaScript Value adımı
  • User Defined Java Expression
  • Performans için Java sınıfının tercih edilmesi
  • Harici kütüphane kullanımı
  • Kodlu adımların test ve bakımı
Modül 4
Dinamik Akış
  • Değişkene göre dallanan iş akışı
  • Dosya listesi üzerinde döngü (loop)
  • Run configurations ile ortam seçimi
  • Çalışma zamanı metadata keşfi
  • Şema değişikliğine dayanıklı tasarım
  • Dinamik akışın loglanması
Günün hedefiKatılımcı, büyük veri kaynaklarını ve değişim yakalamayı Pentaho'da işleyebilir.
Modül 1
Hadoop Entegrasyonu
  • Hadoop cluster bağlantısı (shim) yapılandırması
  • HDFS'e dosya okuma/yazma
  • Hadoop File Input/Output adımları
  • Hive üzerinden SQL erişimi
  • HBase okuma/yazma
  • Büyük veri iş yükünün planlanması
Modül 2
MapReduce ve Spark
  • Pentaho MapReduce transformation yapısı
  • Mapper ve reducer tasarımı
  • Adaptive Execution Layer (AEL) ile Spark
  • Spark üzerinde ölçekli dönüşüm
  • Büyük veri için uygun adım seçimi
  • Yürütme motorunun performansa etkisi
Modül 3
CDC
  • Değişim veri yakalama (CDC) kavramı
  • Zaman damgası ve yüksek su işareti (high-watermark)
  • Veritabanı log tabanlı CDC yaklaşımı
  • Ekle/güncelle/sil olaylarının yakalanması
  • Sadece değişeni işleyerek maliyet azaltma
  • CDC'nin güvenilir biçimde uygulanması
Modül 4
Yavaş Değişen Boyut
  • SCD Tip 1 (üzerine yazma)
  • SCD Tip 2 (tarihçe tutma) adımı
  • Dimension Lookup/Update adımı
  • Surrogate key üretimi
  • Etkin kayıt (current flag) yönetimi
  • SCD tipinin iş ihtiyacına göre seçimi
Günün hedefiKatılımcı, ETL'i ayarlar, kurumsal repository ve CI/CD ile yönetir.
Modül 1
Performans Ayarı
  • Commit size ve batch yazmanın ayarı
  • Rowset boyutu ve bellek yönetimi
  • Database bulk loader adımları
  • Gereksiz sort ve lookup'ın kaldırılması
  • JVM bellek (PENTAHO_DI_JAVA_OPTIONS) ayarı
  • Darboğazın metriklerle tespiti
Modül 2
Repository ve Sürüm
  • Dosya tabanlı vs. kurumsal repository
  • Sürüm kontrolü (Git) ile çalışma
  • Ortam (dev/test/prod) ayrımı
  • Bağlantı ve değişkenlerin ortama göre yönetimi
  • Bağımlılık ve yeniden kullanım yönetimi
  • Değişiklik yönetimi disiplini
Modül 3
Loglama ve İzleme
  • Transformation/job log tablolarına yazma
  • Adım metriklerinin saklanması
  • Hata ve performans trend izleme
  • Uyarı ve bildirim mekanizması
  • Çalıştırma geçmişinin denetlenmesi
  • İzleme panosu kurulması
Modül 4
CI/CD ve Teslim
  • Pan/Kitchen ile otomatik çalıştırma
  • Yapıların (artifact) paketlenmesi
  • Pipeline ile test ve dağıtım
  • Ortama parametreli dağıtım
  • Geri alma (rollback) stratejisi
  • Kurumsal ETL yaşam döngüsü yönetimi

Eğitim Kazanımları

Program sonunda katılımcılar:

✅
Kümeleme

Carte ve cluster schema ile ETL'i paralel ve ölçekli çalıştırırsınız.

✅
Bölümleme

Partition schema ile veriyi bölümleyip yük dengeler ve hızlandırırsınız.

✅
Metadata Injection

Tek şablondan dinamik, bakımı kolay transformation üretirsiniz.

✅
Kodlu Adımlar

UDJC ve JavaScript ile özel ileri mantık yazarsınız.

✅
Big Data

HDFS, Hive ve Spark adımlarıyla büyük veriyi işlersiniz.

✅
CDC ve SCD

Değişim yakalama ve yavaş değişen boyutları doğru uygularsınız.

✅
Performans

Commit, rowset ve bulk loader ile ETL performansını ayarlarsınız.

✅
CI/CD

Kurumsal repository ve CI/CD ile ETL yaşam döngüsünü yönetirsiniz.

Kimler İçin Uygundur?

  • Pentaho ile deneyimli veri mühendisleri
  • ETL geliştiricileri
  • kurumsal veri entegrasyonu mimarisi kuran teknik profesyoneller için uygundur

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?
Pentaho ile deneyimli veri mühendisleri, ETL geliştiricileri ve kurumsal veri entegrasyonu mimarisi kuran teknik profesyoneller için uygundur.
Temel Pentaho bilgisi gerekli mi?
Evet; transformation, job ve temel adımlara hakimiyet beklenir, bu eğitim kümeleme ve ileri tasarım üzerine kuruludur.
Big Data ortamı şart mı?
Big Data modülü kavramsal olarak işlenir; erişilebilir bir Hadoop/Hive ortamı pratiği zenginleştirir ama zorunlu değildir.
Metadata injection ne işe yarar?
Tek bir şablon transformation ile çok sayıda tablo/kaynağı dinamik işlemenizi sağlar; bakım maliyetini ciddi biçimde düşürür ve eğitimde uygulamalı gösterilir.
Eğitim sonunda sertifika veriliyor mu?
Katılım ve değerlendirme sonrası Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika d Digital Vizyon AKADEMİ KATILIM SERTİFİKASI Bu sertifika [Katılımcı Adı Soyadı] adlı katılımcının aşağıdaki eğitim programını başarıyla tamamladığını belgeler. Pentaho Data Integration İleri Düzey Eğitimi Sertifika Kodu DV-2026XX00 Tarih 26.10.2026 Yetkili İmza DV AKADEMİ

Eğitim Bilgileri

Süre4 gün
Seviyeİleri Seviye
FormatOnline / Yüz Yüze / Hibrit
Sertifika✓ Var
Hemen Bilgi Al
İlgili Eğitimler

Bu Eğitimle Birlikte Tercih Edilenler

Veri Analizi ve İstatistikUsing Data to Find Data: Correction & Categorization Eğitimi
Veri ve Analitik Eğitimleri

Using Data to Find Data: Correction & Categorization Eğitimi

2 günOrtaOnline / Yüz Yüze / Hibrit

Veri düzeltme ve kategorizasyon eğitimi: standardizasyon, bulanık eşleştirme (Levenshtein/Jaro-Winkler), record linkage, kural/ML sınıflandırma ve precision/rec

Detayları Gör →
Veri Analizi ve İstatistikUsing Data to Find Data: Data Discovery & Exploration Eğitimi
Veri ve Analitik Eğitimleri

Using Data to Find Data: Data Discovery & Exploration Eğitimi

2 günOrtaOnline / Yüz Yüze / Hibrit

Veri keşfi eğitimi: veri envanteri, metadata/katalog, profilleme, keşifçi veri analizi (EDA), korelasyon ve aday anahtar/foreign key ilişki keşfi.

Detayları Gör →
Veri Analizi ve İstatistikUsing Explorations & Reports in Google Analytics Eğitimi
Veri ve Analitik Eğitimleri

Using Explorations & Reports in Google Analytics Eğitimi

2 günOrtaOnline / Yüz Yüze / Hibrit

Google Analytics 4 eğitimi: olay modeli, boyut/metrik, standart raporlar, Explorations serbest form, huni/yol keşfi, segment/kohort ve dönüşüm ölçümü.

Detayları Gör →
Veri Analizi ve İstatistikUsing formulas to get data in Sheets Eğitimi
Veri ve Analitik Eğitimleri

Using formulas to get data in Sheets Eğitimi

2 günOrtaOnline / Yüz Yüze / Hibrit

Google Sheets formül eğitimi: XLOOKUP/INDEX-MATCH, SUMIFS/COUNTIFS, QUERY, FILTER/ARRAYFORMULA, IMPORTRANGE ve REGEX ile veri çekme ve birleştirme.

Detayları Gör →
Veri Analizi ve İstatistikUsing R Programming Structures: Functions & Environments Eğitimi
Veri ve Analitik Eğitimleri

Using R Programming Structures: Functions & Environments Eğitimi

2 günOrtaOnline / Yüz Yüze / Hibrit

R programlama eğitimi: fonksiyon tanımı, argüman mekaniği, environment, lexical scoping, lazy evaluation, closure, higher-order fonksiyonlar ve hata yönetimi.

Detayları Gör →
+90 (501) 369 40 14 WhatsApp [email protected] LinkedIn