WRENAI İÇİN KALİTE VE GÖZLEMCİLİK: DEĞERLENDİRME, İPUCU AYARLAMA VE İZLEME EĞİTİMİ

WrenAI'ın doğruluğunu ölç, ayarla, izle

WrenAI semantik katmanından (MDL) değerlendirme metrikleri, eval veri kümeleri, prompt ayarlama ve tracing tabanlı gözlemciliğe kadar üretim kalitesinin tamamı.

WrenAI dağıtımlarında semantik model (MDL) kurmayı, text-to-SQL doğruluğunu metriklerle ölçmeyi, prompt ve bağlamı ayarlamayı ve tracing ile gözlemciliği uygulamalı öğretir.

3 gün İleri Seviye Online / Yüz Yüze / Hibrit Sertifikalı

Eğitim Hakkında

Semantik model, değerlendirme metrikleri, ipucu ayarlama ve izleme

Bu ileri seviye eğitim, açık kaynaklı WrenAI (text-to-SQL / konuşarak BI) dağıtımlarının kalitesini ölçmeye, iyileştirmeye ve gözlemlemeye odaklanır. WrenAI mimarisi (Wren Engine, AI servisi, UI) ve semantik modelin (MDL) model, ilişki, metrik ve hesaplanmış alanlarla kurulması anlatılır. Doğal dil sorusundan SQL üretiminin kalitesini ölçmek için execution accuracy, exact/execution match ve retrieval doğruluğu gibi metrikler; değerlendirme veri kümelerinin hazırlanması ve otomatik eval çalıştırma gösterilir. Hata analizi, prompt (ipucu) ve bağlam ayarlama, semantik katmanın zenginleştirilmesiyle doğruluğun yükseltilmesi uygulanır. İzleme tarafında sorgu izleri (tracing), gecikme/token metrikleri, Langfuse veya benzeri gözlemcilik araçlarıyla loglama ve kullanıcı geri bildirim döngüsü ele alınır. Katılımcı, bir WrenAI kurulumunu güvenilir biçimde üretime taşıyabilir.

Süre ve Format

3 Gün. Her gün dört modül; katılımcılar semantik modelden değerlendirmeye ve gözlemciliğe kadar uygulamalı ilerler.

Seviye

İleri Seviye — WrenAI text-to-SQL/GenBI dağıtımlarında doğruluk değerlendirmesi, prompt (ipucu) ayarlama ve gözlemcilik kurma.

Öğrenme Metodu

Katılımcılar kurulu bir WrenAI örneğinde MDL tanımlar, eval veri kümesiyle doğruluk ölçer, prompt ve bağlamı ayarlar ve tracing paneliyle izler.

Neden Bu Eğitim?

🎯Ölçülebilir Doğruluk

Üretilen SQL'in doğruluğunu metriklerle somut biçimde ölçersiniz.

🔧İpucu Ayarı

Prompt ve semantik bağlamı düzelterek yanlış yanıtları azaltırsınız.

🔭Gözlemcilik

Tracing ve metriklerle her sorgunun ardındaki kararı görünür kılarsınız.

Anahtar Konular

wrenaitext to sqlgenbisemantik katman mdlllm değerlendirmeexecution accuracyprompt ayarlamallm gözlemciliklangfuse tracingeval veri kümesi
“Güvenilir bir yapay zeka, ölçülen ve izlenen yapay zekadır.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1
SQL Bilgisi

JOIN, GROUP BY ve alt sorgular dahil orta düzey SQL bilgisi gereklidir.

2
LLM Temeli

Büyük dil modeli, prompt ve RAG kavramlarına aşinalık faydalıdır.

3
WrenAI Kurulumu

Erişilebilir, bir veri kaynağına bağlı çalışan bir WrenAI örneği gerekir.

4
Python/Komut Satırı

Eval betikleri ve yapılandırma için temel Python/CLI kullanımı yararlıdır.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı, WrenAI mimarisini kavrayıp doğru bir semantik model (MDL) tanımlayabilir.
Modül 1
WrenAI'ye Giriş
  • Text-to-SQL ve konuşarak BI (GenBI) kavramı
  • WrenAI'nin doğal dil sorusunu SQL'e çevirme akışı
  • Semantik katmanın yanlış SQL'i önlemedeki rolü
  • Desteklenen veri kaynakları (Postgres, BigQuery, DuckDB vb.)
  • Açık kaynak mimarinin bileşen ayrımı
  • Tipik analitik self-servis kullanım senaryoları
Modül 2
Mimari Bileşenler
  • Wren UI'nin soru-cevap ve modelleme arayüzü
  • AI servisinin retrieval ve SQL üretim görevi
  • Wren Engine'in sorguyu veri kaynağında çalıştırması
  • Vektör deposu ve gömme (embedding) kullanımı
  • LLM sağlayıcı yapılandırması (model, anahtar)
  • Bileşenler arası veri akışının izlenebilirliği
Modül 3
Semantik Model (MDL)
  • Modeling Definition Language (MDL) yapısı
  • Model (tablo/görünüm) ve kolon tanımları
  • İş terimleri ve kolonlar için açıklama (description) ekleme
  • Eş anlamlıların (synonyms) tanımlanması
  • Hassas alanların gizlenmesi/dışlanması
  • MDL'nin SQL üretim doğruluğuna etkisi
Modül 4
İlişki, Metrik ve Hesaplanmış Alanlar
  • Modeller arası ilişki (relationship) ve JOIN tanımı
  • One-to-many ve many-to-one kardinalite
  • Hesaplanmış alan (calculated field) oluşturma
  • Toplama metriği (ör. toplam ciro, sipariş sayısı)
  • Zaman boyutu ve tarih hiyerarşisi tanımı
  • İyi modellemenin belirsiz soruları netleştirmesi
Günün hedefiKatılımcı, bir eval veri kümesiyle WrenAI'nın doğruluğunu metriklerle ölçüp hatasını analiz edebilir.
Modül 1
Değerlendirme Metrikleri
  • Execution accuracy (sonuç kümesi eşleşmesi)
  • Exact match ile SQL metni karşılaştırmasının sınırı
  • Retrieval doğruluğu ve doğru model/kolon seçimi
  • Geçerli (valid) SQL üretme oranı
  • Gecikme ve token maliyeti metrikleri
  • Metrik seçiminin iş hedefine göre belirlenmesi
Modül 2
Eval Veri Kümesi Hazırlama
  • Soru-SQL (veya soru-beklenen sonuç) çiftleri toplama
  • Gerçek kullanıcı sorularından örnek seçme
  • Kolay/orta/zor zorluk kademelerine ayırma
  • Altın (ground truth) SQL'in doğrulanması
  • Kenar durum ve belirsiz soruların dahil edilmesi
  • Veri kümesinin sürümlenmesi ve genişletilmesi
Modül 3
Otomatik Değerlendirme Çalıştırma
  • Eval betiğini WrenAI API'sine bağlama
  • Toplu soruların otomatik çalıştırılması
  • Üretilen SQL'in veri kaynağında yürütülmesi
  • Beklenen ve gelen sonucun programlı karşılaştırması
  • Sürüm/yapılandırma değişiklikleri arası kıyas
  • Sonuçların bir skor tablosunda raporlanması
Modül 4
Hata Analizi
  • Yanlış JOIN ve kardinalite hatalarının saptanması
  • Yanlış metrik/agregasyon seçiminin tespiti
  • Belirsiz soruların yol açtığı sapmalar
  • Retrieval'ın yanlış model getirmesi sorunu
  • Hata türlerine göre sınıflandırma ve önceliklendirme
  • Bulguların iyileştirme aksiyonuna dönüştürülmesi
Günün hedefiKatılımcı, prompt ve semantik bağlamı ayarlayıp tracing ile üretim kalitesini sürekli izleyebilir.
Modül 1
İpucu (Prompt) Ayarlama
  • SQL üretim prompt'unun yapısı ve bağlam penceresi
  • Few-shot örneklerle doğruluğu artırma
  • İş kurallarını talimat olarak ekleme
  • Model ve sıcaklık (temperature) seçiminin etkisi
  • Prompt değişikliğini eval ile geri doğrulama
  • Aşırı uyum (overfitting) riskinden kaçınma
Modül 2
Semantik Katman İyileştirme
  • Eksik açıklama ve eş anlamlıları tamamlama
  • Sık karışan kolonlar için netleştirici metinler
  • İlişki ve metrik tanımlarını düzeltme
  • Hesaplanmış alanlarla tekrarlayan mantığı sabitleme
  • Hassas/yanıltıcı alanları modelden çıkarma
  • İyileştirmenin eval skoruna etkisini ölçme
Modül 3
Tracing ve İzleme
  • Her sorgu için uçtan uca iz (trace) toplama
  • Retrieval, prompt ve SQL adımlarının görünürlüğü
  • Langfuse veya benzeri ile loglama entegrasyonu
  • Gecikme, token ve maliyet metriklerinin panolanması
  • Başarısız/boş sonuç veren sorguların işaretlenmesi
  • Üretimde anomali uyarıları kurma
Modül 4
Geri Bildirim Döngüsü
  • Kullanıcı beğeni/düzeltme sinyallerini toplama
  • Düzeltilen soruların eval kümesine eklenmesi
  • Düzenli regresyon değerlendirmesi planı
  • Model/semantik değişikliklerini sürümleme
  • Kalite metriklerinin paydaşlara raporlanması
  • Sürekli iyileştirme ritminin kurumsallaştırılması

Eğitim Kazanımları

Program sonunda katılımcılar:

✅
Mimari Kavrama

WrenAI mimarisini ve semantik katmanın doğruluğa etkisini açıklayabilirsiniz.

✅
MDL Modelleme

Model, ilişki, metrik ve hesaplanmış alanlarla sağlam bir MDL kurabilirsiniz.

✅
Metrik Seçimi

Execution accuracy gibi doğru değerlendirme metriklerini seçebilirsiniz.

✅
Eval Kümesi

Zorluk kademeli bir değerlendirme veri kümesi hazırlayabilirsiniz.

✅
Otomatik Değerlendirme

Eval'i otomatik çalıştırıp sürümler arası doğruluğu kıyaslayabilirsiniz.

✅
İpucu Ayarı

Prompt ve bağlamı ayarlayarak yanlış SQL üretimini azaltabilirsiniz.

✅
Tracing

Uçtan uca izler ve metriklerle üretim davranışını gözlemleyebilirsiniz.

✅
Sürekli İyileştirme

Geri bildirim döngüsüyle kaliteyi sürekli yüksek tutabilirsiniz.

Kimler İçin Uygundur?

  • WrenAI veya benzeri text-to-SQL çözümlerini üretime alan veri mühendisleri
  • analitik mühendisleri
  • LLM uygulama ekipleri için uygundur

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?
WrenAI veya benzeri text-to-SQL çözümlerini üretime alan veri mühendisleri, analitik mühendisleri ve LLM uygulama ekipleri için uygundur.
WrenAI kurulumu önceden olmalı mı?
Evet, bir veri kaynağına bağlı çalışan WrenAI örneği gerekir; eğitim kalite ve gözlemciliğe odaklanır, sıfırdan kuruluma değil.
SQL bilmek zorunlu mu?
Evet, üretilen SQL'i değerlendirebilmek için JOIN ve agregasyon dahil orta düzey SQL bilgisi gereklidir.
Gözlemcilik için hangi araçlar kullanılır?
Tracing ve metrikler için Langfuse gibi araçlarla loglama örnekleri gösterilir; yaklaşım araçtan bağımsız öğretilir.
Eğitim sonunda sertifika veriliyor mu?
Eğitimi tamamlayanlara Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika d Digital Vizyon AKADEMİ KATILIM SERTİFİKASI Bu sertifika [Katılımcı Adı Soyadı] adlı katılımcının aşağıdaki eğitim programını başarıyla tamamladığını belgeler. WrenAI için Kalite ve Gözlemcilik: Değerlendirme, İpucu Ayar Sertifika Kodu DV-2026XX00 Tarih 27.10.2026 Yetkili İmza DV AKADEMİ

Eğitim Bilgileri

Süre3 gün
Seviyeİleri Seviye
FormatOnline / Yüz Yüze / Hibrit
Sertifika✓ Var
Hemen Bilgi Al
İlgili Eğitimler

Bu Eğitimle Birlikte Tercih Edilenler

Sistem Yönetimi TemelleriPolicy-based Management & Performance Monitoring Eğitimi
Sistem ve Sunucu Yönetimi Eğitimleri

Policy-based Management & Performance Monitoring Eğitimi

3 günİleriOnline / Yüz Yüze / Hibrit

SQL Server Policy-Based Management, Central Management Server, DMV, wait statistics, Extended Events ve Query Store ile performans izleme.

Detayları Gör →
Sistem Yönetimi TemelleriPreparing and Implementing a Business Plan Eğitimi
Sistem ve Sunucu Yönetimi Eğitimleri

Preparing and Implementing a Business Plan Eğitimi

3 günTemelOnline / Yüz Yüze / Hibrit

İş modeli kanvası, pazar ve rekabet analizi, finansal projeksiyon, başabaş, SWOT ve uygulama yol haritasıyla iş planı hazırlamayı öğrenin.

Detayları Gör →
Sistem Yönetimi TemelleriProgramming Fundamentals : Command Line Interface & Operating System Commands Eğitimi
Sistem ve Sunucu Yönetimi Eğitimleri

Programming Fundamentals : Command Line Interface & Operating System Commands Eğitimi

3 günBaşlangıçOnline / Yüz Yüze / Hibrit

Linux Bash ve Windows komut satırı: dosya işlemleri, boru ve yönlendirme, izinler, süreç yönetimi ve ilk kabuk betiğini uygulamalı öğrenin.

Detayları Gör →
Sistem Yönetimi TemelleriPublic Key Infrastructure and Certificate Distribution Eğitimi
Sistem ve Sunucu Yönetimi Eğitimleri

Public Key Infrastructure and Certificate Distribution Eğitimi

4 günİleriOnline / Yüz Yüze / Hibrit

Active Directory Certificate Services ile iki katmanlı CA, X.509 şablonları, autoenrollment, CRL ve OCSP iptal altyapısını uygulamalı kurun.

Detayları Gör →
Sistem Yönetimi TemelleriRAC Monitoring Eğitimi
Sistem ve Sunucu Yönetimi Eğitimleri

RAC Monitoring Eğitimi

3 günİleriOnline / Yüz Yüze / Hibrit

Oracle RAC izleme: Clusterware, crsctl/srvctl, OCR, interconnect, Cache Fusion, GV$ görünümleri, AWR/ASH ve Cluster Health Monitor.

Detayları Gör →
+90 (501) 369 40 14 WhatsApp [email protected] LinkedIn