Amazon Data Firehose Eğitimi

Eğitim Hakkında

Firehose delivery stream, Lambda dönüşümü ve hedef teslimatı ile akış verisi yükleme

Bu eğitim, Amazon Kinesis Data Firehose (Amazon Data Firehose) ile akış verisinin tam yönetilen biçimde hedeflere yüklenmesini anlatır. Delivery stream, buffer boyutu ve aralığı, Lambda ile veri dönüştürme, Parquet ve ORC biçim dönüşümü, dinamik bölümleme, S3, Redshift, OpenSearch, Splunk ve HTTP endpoint hedefleri, hata kovası, şifreleme ve CloudWatch izleme uygulamalı işlenir.

Süre ve Format

2 Gün. Her gün dört modül; her modülde altı konu başlığı, canlı gösterim ve uygulamalı laboratuvar.

Seviye

Temel Seviye — delivery stream, dönüştürme, S3, Redshift ve OpenSearch hedefleri konularını kapsayan uygulamalı eğitim

Öğrenme Metodu

Bulut hesabında konsol ve CLI ile adım adım laboratuvarlar yapılır, ardından kısa senaryo çalışmalarıyla pekiştirilir.

Neden Bu Eğitim?

🎯Yönetilen Teslimat

Sunucu ve ölçekleme yönetmeden akış verisini hedeflerine ulaştırırsınız.

🛠️Veri Gölü Hazırlığı

Parquet dönüşümü ve bölümleme ile S3 veri gölünü analize hazır hale getirirsiniz.

🔍Hata Dayanıklılığı

Yeniden deneme ve hata kovası ile veri kaybını önlersiniz.

Anahtar Konular

Amazon Kinesis Firehose eğitimiAmazon Data FirehoseAWS akış verisiFirehose S3 ParquetFirehose Lambda dönüşümdinamik bölümlemeAWS veri gölüFirehose OpenSearchFirehose Redshift

“Veri akıyorsa, değerli olan onu doğru yere eksiksiz teslim etmektir.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

Temel Bulut Bilgisi

Bulut hizmet modelleri, bölge ve erişilebilirlik bölgesi kavramlarına genel aşinalık yeterlidir.

2

S3 ve Veri Kavramı

S3 ve JSON/CSV veri biçimleri ile temel akış verisi kavramlarına aşinalık faydalıdır.

3

Çalışma Ortamı

Güncel tarayıcı ve kararlı internet bağlantısı olan bir bilgisayar gerekir; laboratuvarlar için bir bulut hesabı veya kum havuzu ortamı kullanılır.

4

Komut Satırı

Terminalde temel gezinme ve JSON çıktısı okuma alışkanlığı laboratuvarları hızlandırır.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı delivery stream kurar ve S3'e teslimatı yapılandırır.

Modül 1

Firehose Mimarisi

Akış verisi hattı: üretici, Firehose, hedef
Firehose ile Kinesis Data Streams, MSK ve Data Analytics farkları
Kaynak türleri: Direct PUT, Kinesis Data Streams, MSK
Yaklaşık gerçek zamanlı (near real-time) teslimat modeli
Fiyatlandırma: alınan veri GB başına
Kota ve ölçekleme davranışı

Modül 2

Delivery Stream Oluşturma

Direct PUT stream oluşturma ve PutRecord/PutRecordBatch
Kinesis Agent ile log dosyası gönderimi
IAM servis rolü ve hedef izinleri
Demo veri üretici ile test akışı
CloudWatch Logs ve Lambda'dan abonelik ile veri alma
Stream etiketleme ve adlandırma

Modül 3

Tampon ve S3 Teslimatı

Buffer size (MB) ve buffer interval (sn) etkisi
S3 anahtar öneki: YYYY/MM/DD/HH ve hata öneki
Gzip, Snappy ve ZIP sıkıştırma
Dosya boyutu optimizasyonu ve küçük dosya sorunu
S3 çıktı biçimi ve örnek dosya inceleme
Tampon ayarının gecikme ve maliyet etkisi

Modül 4

İzleme

CloudWatch metrikleri: IncomingRecords, DeliveryToS3.Success
DataFreshness ve gecikme alarmı
Hata günlükleri ve CloudWatch Logs
Kayıt kaybı belirtileri ve tanı
Kota aşımı (throttling) tespiti
Operasyonel kontrol listesi

Günün hedefiKatılımcı veriyi dönüştürür, farklı hedeflere teslim eder ve güvenliği sağlar.

Modül 1

Lambda ile Dönüştürme

Veri dönüştürme Lambda sözleşmesi: recordId, result, data
Ok, Dropped ve ProcessingFailed sonuçları
Base64 kodlama ve JSON zenginleştirme
Buffer ve Lambda zaman aşımı etkileşimi
Kayıt filtreleme ve maskeleme örneği
Yeniden deneme ve hata kaydı

Modül 2

Biçim Dönüşümü ve Bölümleme

JSON'dan Parquet ve ORC'ye dönüşüm
Glue Data Catalog tablosu ile şema
Dinamik bölümleme (dynamic partitioning) ve anahtar çıkarma
Athena için bölüm önerileri
Sütunlu biçimin sorgu maliyetine etkisi
Şema değişikliği ve geriye dönük uyumluluk

Modül 3

Hedefler

Amazon Redshift: S3 ara depolama ve COPY komutu
OpenSearch Service indeksleme ve döndürme
Splunk HEC ve HTTP endpoint hedefleri
Üçüncü taraf ortaklar (Datadog, New Relic)
Hedef erişilemezlikte yeniden deneme süresi
Birden fazla hedef için akış ayırma stratejisi

Modül 4

Güvenlik ve Hata Yönetimi

Server-side şifreleme ve KMS
VPC içindeki hedeflere erişim
Yedek S3 kovası ile başarısız kayıtların saklanması
IAM rol en az yetki örneği
CloudTrail ile yönetim denetimi
Maliyet kalemleri ve optimizasyon önerileri

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

Stream Kurma

Direct PUT ve Kinesis kaynaklı delivery stream oluşturabilirsiniz.

🔧

Tampon Ayarı

Buffer boyutu ve aralığını gecikme ve dosya boyutuna göre belirleyebilirsiniz.

📊

S3 Teslimat

Önek, sıkıştırma ve hata kovası ile S3 teslimatını yapılandırabilirsiniz.

🔐

Dönüştürme

Lambda ile kayıtları zenginleştirip filtreleyebilirsiniz.

🚀

Parquet Çevirimi

Glue şemasıyla JSON verisini Parquet'e dönüştürebilirsiniz.

🧩

Dinamik Bölümleme

Anahtara göre bölümlenmiş S3 yapısı oluşturabilirsiniz.

📈

Çoklu Hedef

Redshift, OpenSearch ve HTTP endpoint hedeflerini yapılandırabilirsiniz.

🛡️

İzleme

DataFreshness ve teslimat metriklerini alarmlayabilirsiniz.

Kimler İçin Uygundur?

Log
olay
IoT verisini veri gölüne veya analitik hedeflere yükleyen veri mühendisleri ve altyapı ekipleri için uygundur

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

Log, olay ve IoT verisini veri gölüne veya analitik hedeflere yükleyen veri mühendisleri ve altyapı ekipleri için uygundur.

Firehose ile Kinesis Data Streams farkı nedir?

Firehose tam yönetilen teslimat servisidir; Data Streams ise özel tüketicilerle özel işleme sunar. Fark uygulamalı karşılaştırılır.

Kodlama gerekli mi?

Konsol ağırlıklıdır; dönüştürme için kısa Python Lambda örnekleri kullanılır.

Parquet dönüşümü işleniyor mu?

Evet, Glue şemasıyla JSON'dan Parquet'e dönüşüm ve Athena sorgu etkisi uygulanır.

Sertifika verilir mi?

Katılım ve başarı koşulunu sağlayanlara Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

INTRODUCTION TO AMAZON KINESIS FIREHOSE EĞİTİMİ