Kod yazmadan SQL ile akış hattı kur
ksqlDB ve Kafka Connect'i birlikte kullanarak gerçek zamanlı veri hatları tasarlayan orta seviye eğitim: STREAM/TABLE, push/pull sorgular, pencereli toplamalar ve JOIN; JDBC source/sink, Debezium CDC, SMT dönüşümleri ve kaynaktan hedefe uçtan uca pipeline tas…
ksqlDB STREAM/TABLE, Connect source/sink, SMT ve pipeline tasarımı
Bu eğitim, ksqlDB ve Kafka Connect'i birlikte kullanarak gerçek zamanlı veri hatları tasarlamayı öğretir. Katılımcılar ksqlDB ile STREAM ve TABLE soyutlamalarını oluşturur; SELECT, WHERE, JOIN, GROUP BY ve pencereli (TUMBLING/HOPPING/SESSION) toplamalarla akan veriyi SQL ile dönüştürür; push ve pull sorguları arasındaki farkı kavrar. Kafka Connect tarafında JDBC source/sink, Debezium ile CDC (Change Data Capture), S3 sink ve SMT ile alan dönüşümü işlenir. Standalone ve distributed Connect, connector REST API'si ve offset yönetimi uygulanır. Eğitim, uçtan uca bir pipeline (veri tabanı → Kafka → ksqlDB → hedef) tasarımıyla tamamlanır.
3 Gün. Her gün dört modül; ksqlDB akış işlemeden Kafka Connect entegrasyonuna ve uçtan uca pipeline tasarımına ilerlenir.
Orta Seviye — ksqlDB ile SQL tabanlı akış işleme ve Kafka Connect ile kaynak/hedef entegrasyonunu birleştiren uçtan uca veri hattı tasarımı.
Katılımcılar ksqlDB üzerinde canlı akış sorguları yazar, Connect connector'larını REST API ile kurar ve uçtan uca bir veri hattını baştan sona çalıştırır.
ksqlDB STREAM/TABLE ve pencereli sorgularla akışı SQL'le dönüştürürsünüz.
Debezium ve JDBC connector ile veri tabanı değişimlerini akışa taşırsınız.
Kaynak → Kafka → işleme → hedef uçtan uca hattı tasarlarsınız.
Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri
Topic, partition ve consumer group kavramlarına aşinalık güçlü biçimde faydalıdır.
SELECT, JOIN, GROUP BY gibi temel SQL sorgularına aşinalık beklenir.
İlişkisel veri tabanı ve tablo kavramlarına temel aşinalık faydalıdır.
Kafka, ksqlDB ve Connect içeren bir ortam (Confluent/Docker) erişimi.
Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.
Program sonunda katılımcılar:
STREAM/TABLE oluşturup push/pull sorgularıyla akışı dönüştürürsünüz.
JOIN ve pencereli toplamalarla gerçek zamanlı metrik üretirsiniz.
Source/sink connector'ları REST API ile kurup yönetirsiniz.
Debezium ile veri tabanı değişimlerini akışa dönüştürürsünüz.
Single Message Transform ile alan düzeyinde dönüşüm uygularsınız.
Kaynak → Kafka → işleme → hedef uçtan uca hattı tasarlarsınız.
Dead letter queue ve exactly-once ile güvenilir hat kurarsınız.
Connector ve sorgu metriklerini izleyip hattı ölçeklendirirsiniz.
Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.
Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.
Büyük verinin temel kavramlarını, iş ve teknoloji itici güçlerini ve analitik tekniklerini öğrenin: 5V, veri madenciliği, ML ve görselleştirme. Temel seviye eği
Detayları Gör →
Büyük verinin temellerini uygulamalı öğrenin: 5V, HDFS, YARN, MapReduce, Spark, Hive ve Kafka ile dağıtık depolama ve işleme. Temel seviye DVA eğitimi.
Detayları Gör →
Hadoop üzerinde katmanlı bir içgörü mimarisi kurun: veri modelleme, Data Vault, entegrasyon, MDM, kalite, Hive/Impala servisi ve yönetişim. İleri seviye eğitim.
Detayları Gör →
Büyük veri dönüşümünü vizyondan uygulamaya aşamalı bir yol haritasına dökün: dalga planı, kilometre taşları, bağımlılık, bütçe, risk ve KPI. Orta seviye eğitim.
Detayları Gör →
Büyük veri çözümlerini satış perspektifinden konumlandırın: değer önerisi, kullanım senaryoları, keşif, ROI ve itiraz yönetimi. Temel seviye DVA eğitimi.
Detayları Gör →