Anasayfa›Veri ve Analitik›Büyük Veri Teknolojileri
Veri ve Analitik Büyük Veri Teknolojileri

APACHE PIG AND HIVE EĞİTİMİ

Pig ve Hive ile Hadoop'ta analitik üretin

Pig Latin veri akışı ve HiveQL SQL analitiğini birlikte kullanarak Hadoop üzerinde ETL ve sorgulama yapın.

Pig Latin ile akış tabanlı ETL ve HiveQL ile SQL analitiğini birlikte kapsayan; dönüşüm, JOIN, UDF, bölümleme ve window fonksiyonlarını öğreten uygulamalı Hadoop eğitimi.

3 gün Orta Seviye Online / Yüz Yüze / Hibrit Sertifikalı

Eğitim Hakkında

Pig Latin ve HiveQL ile Hadoop veri işleme

Bu eğitim, Apache Pig ve Apache Hive'ı birlikte kullanarak Hadoop üzerinde veri işlemeyi öğretir. Pig Latin ile LOAD/FILTER/FOREACH/GROUP/JOIN veri akışı betikleri, UDF kullanımı ve ETL dönüşümleri işlenir. Hive tarafında tablo oluşturma, HiveQL ile JOIN ve GROUP BY, bölümleme, ORC/Parquet ve window fonksiyonları uygulamalı ele alınır. Pig'in akış tabanlı ETL'i ile Hive'ın SQL analitiği ne zaman kullanılır, metastore paylaşımı ve iki aracın birlikte çalışması gösterilir.

Süre ve Format

3 Gün. Her gün dört modül; Pig betikleri ve HiveQL sorguları yazma ağırlıklı labler.

Seviye

Orta Seviye — Pig Latin ile veri akışı ve Hive ile SQL tabanlı Hadoop analitiğini birlikte kapsar.

Öğrenme Metodu

Grunt kabuğunda Pig betikleri ve Beeline'da HiveQL sorguları çalıştırarak uygulanır.

Neden Bu Eğitim?

🔀İki Yaklaşım

Akış tabanlı Pig ETL ile SQL tabanlı Hive analitiğini bir arada öğrenirsiniz.

🧹ETL Gücü

Pig Latin ile karmaşık veri temizleme ve dönüşüm akışları kurarsınız.

🔗Ortak Metastore

Pig ve Hive'ı ortak metastore üzerinde birlikte çalıştırırsınız.

Anahtar Konular

apache pig eğitimihive eğitimipig latinhiveqlpig join udfhive bölümlemehadoop etlpig hive birlikteveri dönüşümü
“Doğru araç, veriyi zahmetten içgörüye taşıyan köprüdür.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1
SQL

Temel SELECT/JOIN sorguları faydalıdır.

2
Hadoop

HDFS ve temel MapReduce kavramları beklenir.

3
Linux

Terminal ve dosya işlemleri gerekir.

4
Lab Ortamı

Pig ve Hive kurulu bir Hadoop ortamı gerekir.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı Pig Latin ile veri yükleyip temel dönüşümler yazabilir.
Modül 1
Pig'e Giriş
  • Pig mimarisi ve MapReduce'a derleme
  • Grunt kabuğu ve script modu
  • Pig vs Hive konumlandırması
  • Veri akışı (data flow) felsefesi
  • LOAD ve STORE
  • İlk betik çalıştırma
Modül 2
Veri Modeli
  • Tuple, bag, map yapıları
  • Şema tanımı (AS)
  • Veri tipleri
  • İç içe (nested) yapı
  • NULL davranışı
  • Schema-on-read mantığı
Modül 3
Temel Dönüşümler
  • FILTER ile satır eleme
  • FOREACH ... GENERATE
  • DISTINCT ve LIMIT
  • ORDER BY sıralama
  • Alan projeksiyonu
  • Ara sonuç (DUMP) inceleme
Modül 4
Gruplama
  • GROUP BY tek/çoklu alan
  • COGROUP kullanımı
  • Toplama (SUM, COUNT, AVG)
  • FLATTEN ile açma
  • Grup sonucu işleme
  • Örnek ETL senaryosu
Günün hedefiKatılımcı Pig'de JOIN, UDF ve optimizasyonları uygulayabilir.
Modül 1
JOIN Türleri
  • Inner ve outer join
  • Replicated (fragment) join
  • Skewed join
  • Merge join
  • Join performans etkisi
  • Join doğrulama
Modül 2
UDF
  • Eval, filter, load/store UDF
  • Java UDF yazma
  • Python (Jython) UDF
  • PiggyBank kütüphanesi
  • UDF kayıt (REGISTER)
  • Kullanım senaryoları
Modül 3
Optimizasyon
  • PARALLEL ile reducer sayısı
  • Early projection/filtering
  • Combiner etkisi
  • Veri çarpıklığı yönetimi
  • EXPLAIN ile plan
  • Betik performans ipuçları
Modül 4
ETL Akışı
  • Çok adımlı dönüşüm akışı
  • Veri temizleme deseni
  • Format dönüşümü
  • Ara sonuç yönetimi
  • HDFS'e yazma
  • Betik modülerleştirme
Günün hedefiKatılımcı HiveQL ile analitik sorgular yazar ve Pig ile birlikte kullanabilir.
Modül 1
Hive Temeli
  • Tablo oluşturma ve metastore
  • Managed vs external tablo
  • LOAD ve INSERT
  • HiveQL SELECT/WHERE
  • Veri tipleri
  • Beeline kullanımı
Modül 2
Analitik Sorgu
  • JOIN ve GROUP BY
  • Window fonksiyonları
  • CTE ve alt sorgu
  • Toplama ve HAVING
  • Sıralama ve LIMIT
  • Sonuç doğrulama
Modül 3
Performans
  • Bölümleme (PARTITION)
  • ORC/Parquet format
  • Bucketing temeli
  • Vectorization
  • İstatistik ve CBO
  • Sorgu hızlandırma
Modül 4
Pig+Hive Birlikte
  • Ortak metastore kullanımı
  • Pig ile HCatalog
  • Pig ETL → Hive analitik akışı
  • Araç seçim kriterleri
  • Birlikte çalışma senaryosu
  • Veri hattı tasarımı

Eğitim Kazanımları

Program sonunda katılımcılar:

✅
Pig Latin

LOAD/FILTER/FOREACH ile veri akışı betikleri yazarsınız.

✅
Gruplama

GROUP/COGROUP ve toplama ile veriyi dönüştürürsünüz.

✅
JOIN

Replicated ve skewed join'leri doğru senaryoda kullanırsınız.

✅
UDF

Java/Jython UDF ile Pig'i özel fonksiyonlarla genişletirsiniz.

✅
HiveQL

Hive'da JOIN ve window ile analitik sorgular yazarsınız.

✅
Performans

Bölümleme ve ORC/Parquet ile sorguları hızlandırırsınız.

✅
Araç Seçimi

Pig ETL ile Hive analitiği arasında doğru seçim yaparsınız.

✅
Entegrasyon

Ortak metastore ile Pig ve Hive'ı birlikte çalıştırırsınız.

Kimler İçin Uygundur?

  • Hadoop üzerinde ETL ve analitik yapan veri mühendisleri
  • analistler
  • eski Pig iş yüklerini sürdüren ekipler

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?
Hadoop üzerinde ETL ve analitik yapan veri mühendisleri, analistler ve eski Pig iş yüklerini sürdüren ekipler için uygundur.
Pig mi Hive mı kullanmalıyım?
Akış tabanlı karmaşık ETL için Pig, SQL analitiği için Hive; eğitim senaryoya göre seçim gösterir.
Pig hâlâ gerekli mi?
Birçok kurumda eski Pig iş yükleri sürüyor; eğitim bunları sürdürme ve Hive'a geçiş perspektifi kazandırır.
UDF yazmak gerekir mi?
Temel senaryolar UDF'siz çözülür; özel ihtiyaçlar için Java/Jython UDF uygulamalı gösterilir.
Sertifika veriliyor mu?
Eğitim sonunda Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika d Digital Vizyon AKADEMİ KATILIM SERTİFİKASI Bu sertifika [Katılımcı Adı Soyadı] adlı katılımcının aşağıdaki eğitim programını başarıyla tamamladığını belgeler. Apache Pig and Hive Eğitimi Sertifika Kodu DV-2026XX00 Tarih 26.10.2026 Yetkili İmza DV AKADEMİ

Eğitim Bilgileri

Süre3 gün
SeviyeOrta Seviye
FormatOnline / Yüz Yüze / Hibrit
AlanVeri ve Analitik
KonuBüyük Veri Teknolojileri
Sertifika✓ Var
Hemen Bilgi Al
Bilgi için:
+90 (501) 369 40 14
[email protected]
İlgili Eğitimler

Bu Eğitimle Birlikte Tercih Edilenler

Büyük Veri TeknolojileriAdvanced Kafka-Spark Streaming Patterns and Production Readiness Eğitimi
Veri ve Analitik Eğitimleri

Advanced Kafka-Spark Streaming Patterns and Production Readiness Eğitimi

4 günUzmanOnline / Yüz Yüze / Hibrit

Kafka ve Spark Structured Streaming ile exactly-once, watermark, stateful join, state store ve üretim operasyonunu uzman düzeyde öğrenin.

Detayları Gör →
Büyük Veri TeknolojileriAdvanced Operations Using Hadoop MapReduce Eğitimi
Veri ve Analitik Eğitimleri

Advanced Operations Using Hadoop MapReduce Eğitimi

3 günİleriOnline / Yüz Yüze / Hibrit

İleri MapReduce: özel partitioner, combiner, secondary sort, map/reduce-side join, counter ve performans ayarını Java ile uygulamalı öğrenin.

Detayları Gör →
Büyük Veri TeknolojileriAnalyzing, Querying, & Extracting Big Data Eğitimi
Veri ve Analitik Eğitimleri

Analyzing, Querying, & Extracting Big Data Eğitimi

3 günOrtaOnline / Yüz Yüze / Hibrit

Hive/Spark SQL ve DataFrame ile büyük veriyi sorgulama, window analitiği, profilleme, optimizasyon ve dışa aktarmayı uygulamalı öğrenin.

Detayları Gör →
Büyük Veri TeknolojileriApache Hadoop Eğitimi
Veri ve Analitik Eğitimleri

Apache Hadoop Eğitimi

4 günOrtaOnline / Yüz Yüze / Hibrit

Apache Hadoop eğitimi: HDFS, MapReduce, YARN ve Hive/Sqoop/HBase ekosistemiyle dağıtık depolama ve işlemeyi uygulamalı öğrenin.

Detayları Gör →
Büyük Veri TeknolojileriApache Kafka Admin Eğitimi
Veri ve Analitik Eğitimleri

Apache Kafka Admin Eğitimi

3 günİleriOnline / Yüz Yüze / Hibrit

Kafka yönetimi: broker yapılandırma, KRaft, SASL/SSL/ACL güvenlik, kota, reassignment, izleme ve felaket kurtarmayı uygulamalı öğrenin.

Detayları Gör →
+90 (501) 369 40 14 WhatsApp [email protected] LinkedIn