R'ı tek makineden Spark ölçeğine taşı
R dilini büyük veri ölçeğinde kullanmayı öğreten orta seviye eğitim: R bellek modeli ve data.table ile verimli işleme, bellek dışı/chunked yaklaşımlar, sparklyr ile Spark bağlantısı ve dplyr dağıtık işleme, SparkR arayüzü, Spark MLlib ile ölçekli modelleme, s…
R performansı, data.table, sparklyr/SparkR ve dağıtık R modelleme
Bu eğitim, R dilini büyük veri ölçeğinde kullanmanın yollarını öğretir. Katılımcılar önce R'ın bellek sınırlarını ve data.table ile vektörleştirme/verimli işlemeyi kavrar; bellek dışı (out-of-memory) ve parça parça (chunked) işleme yaklaşımlarını uygular. Ardından sparklyr ile Spark'a bağlanarak dplyr sözdizimiyle dağıtık DataFrame işleme, spark_read/spark_write, veri toplama ve pivot işlemleri yapar. SparkR arayüzü, Spark üzerinde MLlib ile ölçekli modelleme (regresyon, sınıflandırma), spark_apply ile dağıtık R fonksiyonu çalıştırma ve arrow ile hızlı veri aktarımı işlenir. Eğitim, R raporlama/görselleştirmenin Spark sonuçlarıyla entegrasyonuyla tamamlanır.
3 Gün. Her gün dört modül; R performansından sparklyr ile dağıtık işlemeye ve ölçekli modellemeye ilerlenir.
Orta Seviye — R dilini büyük veri ile ölçekli kullanmak: sparklyr/SparkR ile Spark, data.table ve bellek dışı (out-of-memory) işleme.
Katılımcılar RStudio üzerinden data.table ve sparklyr ile gerçek veri kümelerini işler, Spark'a bağlanıp dağıtık dplyr sorguları çalıştırır.
sparklyr/SparkR ile R analizlerini tek makine sınırının ötesine taşırsınız.
data.table ve arrow ile büyük veriyi R'da verimli işlersiniz.
Spark MLlib ile R'dan ölçekli regresyon ve sınıflandırma kurarsınız.
Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri
R temel sözdizimi, veri çerçevesi ve dplyr'a aşinalık güçlü biçimde faydalıdır.
Temel istatistik ve modelleme kavramlarına aşinalık faydalıdır.
DataFrame ve dağıtık işleme kavramlarına temel aşinalık faydalıdır.
RStudio ve Spark'a bağlanabilen bir ortam (yerel/Databricks).
Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.
Program sonunda katılımcılar:
R bellek modelini anlayıp data.table ile verimli işlersiniz.
Chunked ve arrow ile tek makinede büyük dosya işlersiniz.
sparklyr ile Spark'a bağlanıp veri yüklersiniz.
dplyr sözdizimiyle dağıtık DataFrame işlersiniz.
tbl_cache ve partition ile Spark performansını yönetirsiniz.
SparkR arayüzüyle dağıtık sorgu ve UDF kullanırsınız.
Spark MLlib ile R'dan regresyon/sınıflandırma kurarsınız.
spark_apply ve ggplot2 ile sonuçları ölçekte raporlarsınız.
Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.
Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.
Apache Hadoop eğitimi: HDFS, MapReduce, YARN ve Hive/Sqoop/HBase ekosistemiyle dağıtık depolama ve işlemeyi uygulamalı öğrenin.
Detayları Gör →
Kafka yönetimi: broker yapılandırma, KRaft, SASL/SSL/ACL güvenlik, kota, reassignment, izleme ve felaket kurtarmayı uygulamalı öğrenin.
Detayları Gör →
Kafka Streams ve ksqlDB ile akış analitiği: KStream/KTable, pencere toplama, join, state store ve materialized view uygulamalı öğrenin.
Detayları Gör →
Geliştiriciler için Kafka: Producer/Consumer API, Avro serileştirme, retry/DLT, Spring Kafka ve EmbeddedKafka testlerini uygulamalı öğrenin.
Detayları Gör →
Kafka temelleri: broker, topic, partition, offset, consumer group ve CLI ile ilk producer/consumer uygulamasını sıfırdan öğrenin.
Detayları Gör →