Amazon Kinesis Data Streams Eğitimi

Eğitim Hakkında

Kinesis Data Streams ile shard tabanlı, düşük gecikmeli akış verisi işleme

Bu eğitim, Amazon Kinesis Data Streams ile gerçek zamanlı veri akışı mimarilerini anlatır. Shard, partition key ve sequence number kavramları, provisioned ve on-demand kapasite, KPL ve PutRecords ile üretim, KCL, Lambda ve enhanced fan-out ile tüketim, GetRecords sınırları, resharding, saklama süresi, şifreleme ve CloudWatch ile izleme laboratuvarlarla işlenir.

Süre ve Format

2 Gün. Her gün dört modül; her modülde altı konu başlığı, canlı gösterim ve uygulamalı laboratuvar.

Seviye

Temel Seviye — shard, producer, consumer, KCL, enhanced fan-out ve ölçekleme konularını kapsayan uygulamalı eğitim

Öğrenme Metodu

Bulut hesabında konsol ve CLI ile adım adım laboratuvarlar yapılır, ardından kısa senaryo çalışmalarıyla pekiştirilir.

Neden Bu Eğitim?

🎯Düşük Gecikme

Saniye altı gecikmeyle olay akışlarını işleyen mimari kurarsınız.

🛠️Ölçek Kontrolü

Shard sayısı ve on-demand mod arasında doğru kapasite kararını verirsiniz.

🔍Çoklu Tüketici

Enhanced fan-out ile aynı akışı birden çok uygulamaya paralel dağıtırsınız.

Anahtar Konular

Amazon Kinesis Data Streams eğitimiKinesis shardKCLenhanced fan-outAWS gerçek zamanlı veriKinesis Producer LibraryKinesis LambdaAWS akış işlemeKinesis resharding

“Akış tasarımı, verinin hızından çok anahtarın dağılımına bağlıdır.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

Temel Bulut Bilgisi

Bulut hizmet modelleri, bölge ve erişilebilirlik bölgesi kavramlarına genel aşinalık yeterlidir.

2

Programlama Temeli

Python veya Java ile temel kod okuma ve boto3 benzeri SDK kullanımı faydalıdır.

3

Çalışma Ortamı

Güncel tarayıcı ve kararlı internet bağlantısı olan bir bilgisayar gerekir; laboratuvarlar için bir bulut hesabı veya kum havuzu ortamı kullanılır.

4

Komut Satırı

Terminalde temel gezinme ve JSON çıktısı okuma alışkanlığı laboratuvarları hızlandırır.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı akış oluşturur, kapasiteyi planlar ve veri üretir.

Modül 1

Kinesis Mimarisi

Stream, shard, record, partition key, sequence number
Shard başına 1 MB/s yazma ve 2 MB/s okuma sınırları
Kinesis ürün ailesi: Streams, Firehose, Managed Flink
Kinesis ile SQS, SNS ve Kafka (MSK) karşılaştırması
Sıralama garantisi: shard içinde sıra
Veri saklama: 24 saat – 365 gün

Modül 2

Kapasite Modları

Provisioned: shard sayısı hesaplama
On-demand: otomatik ölçekleme ve limitleri
Shard başına maliyet ve PUT payload birimi
Sıcak shard (hot shard) sorunu ve partition key dağılımı
Kapasite artırımı: UpdateShardCount ile resharding
Split ve merge işlemleri, child shard kavramı

Modül 3

Veri Üretimi

PutRecord ve PutRecords ile SDK üretimi
Kinesis Producer Library: toplama ve yeniden deneme
Kinesis Agent ile dosya izleme
ProvisionedThroughputExceeded hatası ve backoff
Üreticide partition key tasarım örneği
boto3 ile akış oluşturma ve veri gönderme laboratuvarı

Modül 4

Kayıt Yapısı ve Şema

JSON, Avro ve Protobuf biçim seçimi
Glue Schema Registry ile şema yönetimi
Zaman damgası ve olay zamanı (event time) tasarımı
Tekilleştirme için kayıt kimliği
Kayıt boyutu limiti (1 MiB) ve büyük payload deseni
Örnek telemetri olay şeması

Günün hedefiKatılımcı akışı tüketir, hataları yönetir ve izleme kurar.

Modül 1

Tüketici Modelleri

GetRecords ve shard iterator türleri (TRIM_HORIZON, LATEST)
Paylaşımlı verim: shard başına 5 GetRecords/sn
Enhanced fan-out ile 2 MB/s/tüketici
SubscribeToShard HTTP/2 push modeli
Lambda olay kaynağı eşlemesi ve parti boyutu
Tüketici gecikmesi: IteratorAgeMilliseconds

Modül 2

Kinesis Client Library

KCL ile worker, lease tablosu (DynamoDB) ve checkpoint
Shard dağıtımı ve yük devri
KCL 2.x ve 3.x farkları
Checkpoint stratejisi ve en az bir kez (at-least-once) teslimat
Poison pill kayıt yönetimi
KCL metrikleri CloudWatch'a

Modül 3

Hata Yönetimi ve Ölçekleme

Lambda: BisectBatchOnError, MaximumRetryAttempts, hedef DLQ
İdempotent işleme tasarımı
Resharding sırasında sıra korunumu
Otomatik ölçekleme ile shard ayarlama (CloudWatch + Lambda)
Geri basınç (backpressure) ve yavaş tüketici
Çoklu bölge ve dayanıklılık yaklaşımı

Modül 4

Güvenlik ve İzleme

SSE-KMS ile server-side şifreleme
IAM politikaları ve kaynak tabanlı politikalar
VPC endpoint (PrivateLink) erişimi
CloudWatch: WriteProvisionedThroughputExceeded, IncomingBytes
Enhanced shard-level metrics
Firehose, Flink ve S3 ile sonraki aşama mimarisi

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

Shard Tasarımı

Verim hedefinden shard sayısı hesaplayabilirsiniz.

🔧

Partition Key

Sıcak shard'ı önleyecek partition key stratejisi belirleyebilirsiniz.

📊

Üretici Yazma

PutRecords ve KPL ile veri akışı üretebilirsiniz.

🔐

Tüketici Kurma

KCL ve Lambda ile akışı tüketen uygulama geliştirebilirsiniz.

🚀

Fan-Out

Enhanced fan-out ile çoklu tüketiciyi bağımsız hızda besleyebilirsiniz.

🧩

Ölçekleme

Resharding ve on-demand kapasite arasında seçim yapabilirsiniz.

📈

Hata Dayanıklılığı

Checkpoint, retry ve DLQ ile güvenilir işleme tasarlayabilirsiniz.

🛡️

İzleme

IteratorAge ve throttling metrikleriyle akış sağlığını izleyebilirsiniz.

Kimler İçin Uygundur?

Gerçek zamanlı olay
log ve telemetri akışlarıyla çalışan geliştiriciler
veri mühendisleri
bulut mimarları için uygundur

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

Gerçek zamanlı olay, log ve telemetri akışlarıyla çalışan geliştiriciler, veri mühendisleri ve bulut mimarları için uygundur.

Kinesis Streams ile Firehose farkı nedir?

Streams özel tüketici uygulamalarına ve sıra garantisine izin verir; Firehose teslimat odaklıdır. Eğitim ikisini birlikte ele alır.

Kodlama düzeyi nedir?

Python tabanlı kısa üretici ve tüketici kodları kullanılır; ileri programlama gerekmez.

On-demand mod yeterli mi?

Çoğu başlangıç senaryosunda evet; maliyet ve sınırlar karşılaştırmalı değerlendirilir.

Sertifika veriliyor mu?

Katılım ve başarı koşulunu sağlayanlara Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

INTRODUCTION TO AMAZON KINESIS STREAMS EĞİTİMİ