Pig Latin ile büyük veri dönüşümünü akışla yazın
Pig Latin ile Hadoop üzerinde ilişkisel operatörler, UDF ve ETL akışları kurmayı ve optimizasyonu öğreten uygulamalı eğitim.
Apache Pig ile veri akışı tabanlı dönüşüm ve ETL programı
Bu eğitim, Apache Pig ve Pig Latin diliyle Hadoop üzerinde büyük veri dönüşümü yapma becerisi kazandırır. LOAD/STORE ile veri okuma-yazma, ilişkisel operatörler (FILTER, FOREACH...GENERATE, GROUP, COGROUP, JOIN, ORDER, DISTINCT, UNION) ele alınır. Veri tipleri ve şema, tuple/bag/map yapıları, bütünleşik (built-in) ve kullanıcı tanımlı fonksiyonlar (UDF), parametre geçişi, EXPLAIN/ILLUSTRATE ile hata ayıklama işlenir. Katılımcı; log ve kayıt verisi üzerinde gerçekçi ETL akışları yazar ve Hadoop üzerinde çalıştırır.
3 Gün. Her gün dört modül; Pig Latin temelleri, ilişkisel operatörler, UDF ve optimizasyon üzerine uygulama.
Orta Seviye — Apache Pig ve Pig Latin ile büyük veri dönüşümü, ETL ve veri akışı programlama
Grunt kabuğu ve script dosyalarıyla örnek log verileri üzerinde uygulamalı Pig Latin çalışması yapılır.
Karmaşık dönüşümleri adım adım, okunabilir veri akışları olarak ifade edersiniz.
MapReduce detaylarıyla uğraşmadan büyük veriyi dönüştürürsünüz.
Yarı yapılandırılmış veriyi bag ve map yapılarıyla esnekçe işlersiniz.
Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri
HDFS ve MapReduce kavramlarına aşinalık gerekir.
Döngü ve koşul gibi temel kavramları bilmek faydalıdır.
Temel Linux kabuk kullanımı önerilir.
Pig kurulu bir Hadoop ortamına erişim gerekir.
Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.
Program sonunda katılımcılar:
Tuple, bag ve map yapılarıyla şema tanımlayabilirsiniz.
LOAD, FILTER ve FOREACH ile akış yazabilirsiniz.
GROUP ve COGROUP ile agregasyon yapabilirsiniz.
Farklı JOIN türleriyle tabloları birleştirebilirsiniz.
Bütünleşik fonksiyonları ve UDF'leri kullanabilirsiniz.
Uçtan uca gerçekçi bir ETL akışı kurabilirsiniz.
ILLUSTRATE ve EXPLAIN ile akışı inceleyebilirsiniz.
PARALLEL ve join seçimiyle performansı iyileştirebilirsiniz.
Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.
Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.
Analitik ve modelleme giriş eğitimi: CRISP-DM, veri hazırlama, özellik mühendisliği, regresyon/sınıflandırma/kümeleme, metrikler ve çapraz doğrulama. Python ile
Detayları Gör →
Karar odaklı veri analizi ve görselleştirme eğitimi: metrik seçimi, görsel algı ilkeleri, grafik-mesaj eşlemesi, gösterge panosu ve veri hikâyesi anlatımı.
Detayları Gör →
Veri etiği eğitimi: mahremiyet, anonimleştirme, bilgilendirilmiş rıza, algoritmik yanlılık, adillik ölçütleri, açıklanabilirlik ve sorumlu veri/AI yönetişimi.
Detayları Gör →
Veri kataloğu eğitimi: metadata türleri, veri sözlüğü, iş sözlüğü, veri soyağacı (lineage), sınıflandırma, arama/keşif ve veri sahipliği/yönetişim.
Detayları Gör →
Veri krizi yönetimi eğitimi: ihlal müdahale planı, tespit/kapsama, KVKK 72 saat bildirim, kriz iletişimi, yedekten kurtarma ve olay sonrası postmortem.
Detayları Gör →