Scala ile Spark ve Hadoop'ta büyük veri işleyin
Scala ile Apache Spark ve Hadoop'ta büyük veri işleyin: HDFS/YARN, RDD ve DataFrame, Spark SQL, Parquet, Structured Streaming, performans ayarı ve MLlib ile log analiz hattı.
Scala ile büyük veri: Spark ve Hadoop ekosistemi
Eğitim, Scala dilini kullanarak Hadoop ekosisteminde Apache Spark ile büyük veri işlemeyi öğretir. HDFS, YARN ve Hive metastore, Parquet-ORC biçimleri, Spark mimarisi, RDD, DAG ve shuffle anlatılır. DataFrame ve Dataset[T], Spark SQL, window fonksiyonları, UDF ve Catalyst planları uygulanır. Bölümlü yazma, Structured Streaming ile Kafka, watermark, AQE, broadcast join, skew yönetimi ve MLlib pipeline'ları işlenir. Log analiz hattı laboratuvarıyla bütünleştirilir.
3 Gün. Her gün dört modül; Hadoop ve Spark Çekirdeği; Spark SQL ve Akış; Performans ve Proje ekseninde ilerleyen uygulamalı program.
Orta Seviye — Scala ile Apache Spark ve Hadoop: HDFS, YARN, RDD/DataFrame, Spark SQL, Structured Streaming, performans ayarı ve MLlib.
Küçük bir Hadoop/Spark ortamında gerçek log verisi işlenir; her iş Spark UI ile incelenip ayarlanır.
HDFS ve YARN üzerinde dağıtık depolama ve kaynak yönetimini kavrarsınız.
DataFrame ve SQL ile milyonlarca satırı dakikalar içinde işlersiniz.
Shuffle, skew ve join sorunlarını Spark UI ile giderirsiniz.
Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri
Temel Scala (case class, koleksiyonlar) bilgisi gerekir.
Orta düzey SQL bilgisi gerekir.
Temel komut satırı bilgisi gerekir.
Yerel veya Docker ortamı için 16 GB RAM önerilir.
Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.
Program sonunda katılımcılar:
HDFS komutlarını ve YARN kaynak modelini kullanabilirsiniz.
Driver, executor, DAG ve shuffle kavramlarını açıklayabilirsiniz.
Scala ile DataFrame ve Dataset dönüşümleri yazabilirsiniz.
Window fonksiyonları ve join ile analiz sorguları yazabilirsiniz.
Parquet ve bölümlü yazma stratejisi seçebilirsiniz.
Kafka'dan pencere ve watermark ile akış işleyebilirsiniz.
AQE, broadcast join ve skew yönetimi uygulayabilirsiniz.
Pipeline ile temel model eğitebilirsiniz.
Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.
Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.
Java exception yönetimi eğitimi: checked ve unchecked, try-with-resources, özel exception tasarımı, exception zincirleme, SLF4J loglama ve assertThrows testleri
Detayları Gör →
Java HttpClient eğitimi: java.net.http, GET ve POST, JSON ile Jackson, sendAsync ve CompletableFuture, timeout, retry, Bearer token ve WireMock ile test.
Detayları Gör →
Java ile basit HTTP istekleri eğitimi: HTTP temelleri, HttpURLConnection, HttpClient ile GET ve POST, JSON ayrıştırma, timeout ve API çağıran komut satırı uygul
Detayları Gör →
Nginx, Apache ve JBoss web sunucu eğitimi: reverse proxy, yük dengeleme, virtual host, mod_rewrite, WildFly dağıtımı, Let's Encrypt TLS ve güvenlik başlıkları.
Detayları Gör →
JShell eğitimi: Java REPL kullanımı, snippet, /vars /methods /list /save /open komutları, script, classpath ile kütüphane deneme ve JShell ile hızlı Java öğrenm
Detayları Gör →