LLM Uygulamalarında Güvenlik ve Değerlendirme Eğitimi

Eğitim Hakkında

Bu eğitim, büyük dil modeli tabanlı sohbet asistanları, RAG sistemleri ve etmen uygulamalarını güvenlik açısından test eden, koruyan ve değerlendiren teknik ekipler için tasarlanmış uygulamalı bir programdır. Katılımcılar zafiyetli bir uygulama üzerinde istem enjeksiyonu ve kırmızı takım testleri yürütür, koruma katmanları ekler ve otomatik değerlendirme hattı kurar.

Neden Bu Eğitim?

Saldırgan Bakışı. Doğrudan ve dolaylı istem enjeksiyonu, jailbreak ve araç kötüye kullanımını kontrollü laboratuvarda deneyin.

Katmanlı Savunma. Koruma rayları, ayrıcalık ayrımı ve çıktı doğrulamayla tek bir filtreye güvenmeyen savunma mimarisi kurun.

Ölçülebilir Kalite. Ragas, DeepEval ve promptfoo ile güvenlik ve doğruluğu her sürümde otomatik test eden bir hat oluşturun.

“Bir LLM uygulaması, ancak saldırgan gibi test edilip her sürümde yeniden ölçüldüğünde gerçekten güvenilir hale gelir.”

Ön Koşullar

Web Güvenliği — OWASP Top 10, enjeksiyon açıkları ve HTTP/API güvenliği konularında temel deneyim.
Python Temeli — Python betiği okuyup düzenleyebilmek, paket kurmak ve komut satırını kullanabilmek.
LLM Kavramları — LLM API'lerini, sistem istemini ve RAG yaklaşımının genel mantığını biliyor olmak.
Çalışma Ortamı — Docker kurulu bir bilgisayar ve eğitmenin sağlayacağı veya kurumun onaylı LLM API erişimi.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiLLM uygulamaları için tehdit modeli çıkarmak, istem enjeksiyonu, RAG ve etmen zafiyetlerini laboratuvarda istismar etmek ve otomatik kırmızı takım araçlarını kullanmak.

Modül 1

LLM Uygulama Mimarisi ve Tehdit Modelleme

Uygulama bileşenleri: istem, model, RAG, araçlar ve bellek
Güven sınırları ve veri akış diyagramıyla tehdit modelleme
OWASP Top 10 for LLM Applications 2025 kategorileri
MITRE ATLAS teknikleriyle saldırı senaryosu eşleme
STRIDE yaklaşımının LLM uygulamalarına uyarlanması
Atölye: Kurumsal RAG asistanı için tehdit modeli

Modül 2

İstem Enjeksiyonu ve Jailbreak Teknikleri

Doğrudan istem enjeksiyonu ve sistem istemi aşımı
Web sayfası, e-posta ve belge üzerinden dolaylı enjeksiyon
Rol yapma, kodlama hileleri ve çok turlu jailbreak
Sistem istemi sızıntısı ve gizli talimat ifşası
Çok modlu enjeksiyon: görsel ve dosyaya gizli talimat
Laboratuvar: Kasıtlı zafiyetli LLM uygulamasına saldırı

Modül 3

RAG, Etmen ve Çıktı Kaynaklı Riskler

Vektör veritabanı zehirleme ve yetkisiz belge erişimi
RAG'de doküman düzeyinde erişim kontrolü
Aşırı yetki (excessive agency) ve araç kötüye kullanımı
Güvensiz çıktı işleme: XSS, SQL ve komut enjeksiyonu
MCP sunucuları ve üçüncü taraf eklentilerde güven riski
Laboratuvar: Etmen aracı üzerinden veri sızdırma senaryosu

Modül 4

Otomatik Kırmızı Takım Araçları

LLM kırmızı takım (red teaming) metodolojisi ve kapsamı
garak ile zafiyet taraması ve sonda (probe) setleri
PyRIT ile çok turlu otomatik saldırı orkestrasyonu
promptfoo ile kırmızı takım yapılandırması
Bulguların önem derecelendirmesi ve tekrarlanabilirliği
Laboratuvar: garak taraması ve bulgu raporu taslağı

Günün hedefiKatmanlı koruma mekanizmaları uygulamak, LLM uygulamalarının doğruluğunu ve güvenliğini ölçmek, sürekli test ve izlemeyi kurmak ve uyum gerekliliklerini raporlamak.

Modül 1

Savunma Katmanları ve Koruma Rayları

Derinlemesine savunma: istem, model, uygulama ve altyapı
Girdi-çıktı sınıflandırıcıları: Llama Guard ve Prompt Guard
NeMo Guardrails ve Guardrails AI ile kural tabanlı raylar
Ayrıcalık ayrımı, araç izin listeleri ve insan onayı
Microsoft Presidio ile kişisel veri tespiti ve maskeleme
Laboratuvar: Zafiyetli uygulamaya koruma katmanı ekleme

Modül 2

LLM Uygulamalarını Değerlendirme

Değerlendirme türleri: işlevsel, güvenlik ve güvenilirlik
LLM-as-a-judge yaklaşımı ve yargıç model yanlılıkları
RAG metrikleri: sadakat, bağlam isabeti ve yanıt ilgisi
Ragas ve DeepEval ile otomatik değerlendirme
Altın veri seti ve saldırı istem kümesi oluşturma
Laboratuvar: RAG asistanı için değerlendirme paketi

Modül 3

Sürekli Test, İzleme ve Olay Müdahalesi

CI/CD hattında promptfoo ile regresyon ve güvenlik testi
Model veya istem değişikliğinde yeniden değerlendirme
Langfuse ile iz kaydı, maliyet ve kalite izleme
Kötüye kullanım tespiti, oran sınırlama ve alarm kuralları
LLM kaynaklı güvenlik olaylarına müdahale akışı
Uygulama: Güvenlik testlerini içeren CI yapılandırması

Modül 4

Uyum, Raporlama ve Kapanış

EU AI Act şeffaflık ve genel amaçlı model yükümlülükleri
NIST AI 600-1 Üretken YZ profili ve ISO/IEC 42001
KVKK açısından istem ve kayıt verisinin yönetimi
Uygulama: Bulgu raporu ve risk kabul süreci tasarımı
Kurumsal LLM güvenlik test kontrol listesinin teslimi
Eğitim değerlendirmesi, Soru-Cevap ve sertifika takdimi

Eğitim Kazanımları

Tehdit Modelleme — LLM, RAG ve etmen bileşenlerini içeren uygulamalar için güven sınırlarını gösteren tehdit modelleri çıkarabileceksiniz.
Enjeksiyon Testi — Doğrudan, dolaylı ve çok modlu istem enjeksiyonu ile jailbreak senaryolarını sistematik olarak test edebileceksiniz.
Etmen Güvenliği — Aşırı yetki, güvensiz çıktı işleme ve araç kötüye kullanımı risklerini tespit edip önleyebileceksiniz.
Kırmızı Takım Araçları — garak, PyRIT ve promptfoo ile otomatik kırmızı takım testleri yürütüp bulguları derecelendirebileceksiniz.
Koruma Rayları — Llama Guard, NeMo Guardrails ve Presidio ile katmanlı girdi-çıktı koruması tasarlayıp uygulayabileceksiniz.
Otomatik Değerlendirme — Ragas ve DeepEval ile sadakat, bağlam isabeti ve güvenlik metriklerini ölçen test paketleri kurabileceksiniz.
Sürekli Güvence — Güvenlik ve kalite testlerini CI/CD hattına ekleyip Langfuse ile üretim davranışını izleyebileceksiniz.
Uyum Raporlaması — Bulguları EU AI Act, NIST AI 600-1 ve KVKK gereklilikleriyle ilişkilendiren raporlar hazırlayacaksınız.

Kimler İçin Uygundur?

Uygulama güvenliği uzmanları
sızma testi uzmanları
LLM uygulaması geliştiren yazılım ve ML mühendisleri
DevSecOps ekipleri ile YZ ürün kalite sorumluları.

Sıkça Sorulan Sorular

Büyük Dil Modeli Uygulamalarında Güvenlik ve Değerlendirme Eğitimi kimler için uygundur?

Program; uygulama güvenliği ve sızma testi uzmanları, LLM tabanlı uygulama geliştiren yazılım ve ML mühendisleri, DevSecOps ekipleri ile YZ ürünlerinin kalitesinden sorumlu teknik ekipler için tasarlanmıştır.

Eğitim ne kadar sürer ve nasıl yapılandırılmıştır?

Eğitim 2 tam gün ve 8 modülden oluşur. İlk gün tehdit modelleme, istem enjeksiyonu, RAG ve etmen riskleri ile otomatik kırmızı takım; ikinci gün koruma rayları, otomatik değerlendirme, sürekli test ve uyum raporlaması işlenir.

Katılım için hangi ön bilgiler gerekiyor?

Web uygulama güvenliği ve OWASP Top 10 konusunda temel deneyim, Python betiklerini okuyup düzenleyebilme ve LLM API'leri ile RAG kavramına aşinalık beklenir. Laboratuvarlar için Docker kurulu bir bilgisayar gerekir.

Eğitimde hangi araçlar kullanılıyor?

Kırmızı takım için garak, PyRIT ve promptfoo; koruma için Llama Guard, Prompt Guard, NeMo Guardrails, Guardrails AI ve Microsoft Presidio; değerlendirme ve izleme için Ragas, DeepEval ve Langfuse kullanılır.

Laboratuvarlar kurumun kendi LLM uygulamasıyla yapılabilir mi, sertifika veriliyor mu?

Standart laboratuvarlar kasıtlı zafiyetli örnek uygulamalarla yürütülür. Kapalı kurum gruplarında, yazılı yetkilendirme ve test ortamı sağlanması koşuluyla kurum uygulamalarına yönelik senaryolar eklenebilir. Katılımcılar Digital Vizyon Akademi sertifikası alır.

Sertifikalandırma

Bu eğitim Katılım Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

BÜYÜK DİL MODELİ UYGULAMALARINDA GÜVENLİK VE DEĞERLENDİRME EĞİTİMİ