Büyük Veri ve Python ile Uygulamaları

Eğitim Hakkında

Python ile büyük veri işleme araçları ve mimariler

Eğitim, 5V kavramlarından başlayarak büyük veriyi Python ekosistemiyle işlemeyi anlatır. HDFS ve Parquet depolama, PySpark DataFrame ve Spark SQL, lazy evaluation, join ve shuffle maliyeti, Dask ve Polars ile bellek dışı işleme, Kafka ve Structured Streaming ile akış verisi, Airflow DAG'leri ve uçtan uca veri hattı tasarımı uygulamalı işlenir.

Süre ve Format

4 Gün. Her gün dört modül; 1. gün Büyük Veri Kavramları ve Depolama; 2. gün PySpark ile Dağıtık İşleme; 3. gün Ölçeklenen Pandas ve Paralellik; 4. gün Akış İşleme ve Veri Hattı. Her modül uygulamalı alıştırmalarla pekiştirilir.

Seviye

İleri Seviye — Büyük veri kavramlarını PySpark, Dask ve akış işleme araçlarıyla Python üzerinde uygulamalı ele alır.

Öğrenme Metodu

Milyonlarca satırlık log ve işlem verisi üzerinde PySpark, Dask ve Polars ile aynı problemler çözülür; süre ve bellek tüketimi karşılaştırılır.

Neden Bu Eğitim?

🎯Ölçeklenebilir analiz

Belleğe sığmayan veriyi doğru araçla işleyerek analiz süresini dakikalara indirirsiniz.

🛠️Doğru araç seçimi

Pandas, Dask, Polars ve Spark arasında veri hacmine göre bilinçli seçim yaparsınız.

📈Veri hattı bakışı

Batch ve akış hattı tasarımını Kafka ve Airflow ile görürsünüz.

Anahtar Konular

büyük veri pythonpysparkdaskpolarsparquetkafkaspark sqlairflowveri mühendisliğibig data eğitimi

“Veri büyüdükçe doğru araç seçmek, hızlı donanımdan önemlidir.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

Python bilgisi

Liste, sözlük, fonksiyon ve döngü kullanımını kapsayan temel Python bilgisi beklenir.

2

Analiz ortamı

Python 3.10+, Jupyter Notebook veya VS Code ile pandas, numpy, matplotlib paketleri kurulu olmalıdır.

3

Temel matematik

Ortalama, yüzde ve tablo okuma gibi ilk ve ortaöğretim düzeyi matematik yeterlidir.

4

Veri merakı

Excel veya benzeri bir tablo aracıyla çalışmış olmak kavramları oturtmayı kolaylaştırır.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı büyük veri mimarisini ve sütunlu depolama formatlarını açıklar.

Modül 1

Büyük Veri Kavramları

5V (hacim, hız, çeşitlilik, doğruluk, değer) ve Python'un rolü
Dağıtık depolama: HDFS, nesne depolama ve Parquet/ORC sütunlu formatlar
Batch ve stream işleme farkı
Hadoop MapReduce mantığı ve Spark'a geçiş nedeni
Veri gölü (data lake) ve veri ambarı karşılaştırması
Şema evrimi ve partisyonlama stratejileri

Modül 2

Veri Okuma: CSV, Excel ve JSON

pd.read_csv parametreleri: sep, encoding, usecols, dtype, parse_dates, nrows
Büyük dosyalarda chunksize ile parça parça okuma
pd.read_excel ile sayfa seçimi, header satırı ve openpyxl motoru
pd.read_json ve json_normalize ile iç içe JSON düzleştirme
pd.read_sql ile veritabanından sorgu sonucu okuma
Türkçe karakter ve ondalık ayıracı sorunları: encoding="utf-8-sig", decimal=","

Modül 3

Veri Yazma ve Dışa Aktarma

to_csv(index=False, encoding=) ve ayraç seçimi
to_excel ile çoklu sayfa için ExcelWriter kullanımı
to_json orient seçenekleri: records, index, columns
to_parquet ve to_pickle ile hızlı, tip korumalı depolama
to_sql ile veritabanına yazma ve if_exists davranışı
Dışa aktarılan dosyanın tekrar okunarak doğrulanması

Modül 4

SQL ile Veri Çekme

SELECT, WHERE, ORDER BY, LIMIT ve NULL davranışı
GROUP BY, HAVING ve toplama fonksiyonları
INNER, LEFT JOIN ve alt sorgular
Pencere fonksiyonları: ROW_NUMBER, RANK, SUM() OVER
CTE (WITH) ile okunabilir çok adımlı sorgu
Python'dan sqlite3 / SQLAlchemy ile sorgu çalıştırma ve parametreli sorgu

Günün hedefiKatılımcı PySpark ile dönüştürme, toplama ve join işlemlerini yazar.

Modül 1

PySpark ile Veri İşleme

SparkSession, RDD ve DataFrame API ayrımı
select, filter, withColumn, groupBy ve agg işlemleri
Tembel değerlendirme (lazy evaluation), transformation ve action
Spark SQL, createOrReplaceTempView ve UDF
Join stratejileri, broadcast join ve shuffle maliyeti
Parquet okuma/yazma, partitionBy ve cache/persist

Modül 2

Gruplama ve Özetleme

groupby ile böl-uygula-birleştir (split-apply-combine) mantığı
agg ile çoklu istatistik ve adlandırılmış toplama (named aggregation)
transform ile grup içi yüzde ve standardizasyon
pivot_table ve crosstab ile çapraz tablolar
value_counts(normalize=True) ve nunique() ile dağılım
Rolling ve expanding pencereleriyle hareketli ortalama

Modül 3

Birleştirme ve Şekil Değiştirme

merge ile inner, left, right, outer join ve on/left_on/right_on
indicator=True ile eşleşmeyen kayıtları bulma
concat ile satır ve sütun yönünde birleştirme
melt ve pivot ile geniş-uzun format dönüşümü
join ve index tabanlı birleştirme
Birleştirme sonrası satır sayısı doğrulaması ve çoğalma (many-to-many) hatası

Modül 4

Python ve SQL Birlikte Analiz

pd.read_sql_query ile sorgu sonucunu DataFrame'e alma
Ağır filtre ve toplamayı SQL'de, şekillendirmeyi pandas'ta yapma kararı
SQLAlchemy engine, connection pool ve ortam değişkeniyle parola yönetimi
to_sql ile temizlenmiş sonucu veritabanına geri yazma
Veri mart tabloları ve görünüm (view) tasarımı
Sorgu planı (EXPLAIN) ve indeksle hız kazanımı

Günün hedefiKatılımcı Dask, Polars ve paralel işleme ile bellek sınırını aşar.

Modül 1

Büyük Veride Pandas ve Alternatifleri

Pandas bellek optimizasyonu: dtype küçültme, category, usecols
chunksize ile akış işleme
Dask DataFrame ile paralel ve bellek dışı işleme
Polars ve lazy sorgu planı
multiprocessing / concurrent.futures ile CPU paralelliği
Apache Arrow ve sütunlu bellek modeli

Modül 2

NumPy ve Vektörel Hesaplama

NumPy dizisi, broadcasting ve vektörel işlem
Python döngüsünün NumPy karşılığıyla hız kıyası
pandas'ta apply yerine vektörel işlem ve eval/query
Numba @njit ile sayısal kod derleme
Cython ve C uzantılarına giriş
Bellek yerleşimi (C/Fortran order) ve görünüm (view) vs kopya

Modül 3

Eşzamanlılık ve Paralellik

GIL'in etkisi: CPU-bound ve I/O-bound ayrımı
threading ve concurrent.futures.ThreadPoolExecutor
multiprocessing ve ProcessPoolExecutor
asyncio, async/await ve aiohttp ile eşzamanlı I/O
Paylaşılan durum, kilitler ve yarış koşulları
Python 3.13 free-threading ve alt yorumlayıcılara genel bakış

Modül 4

Profilleme ve Ölçüm

timeit, cProfile ve pstats ile sıcak nokta bulma
line_profiler ve snakeviz ile satır düzeyinde analiz
tracemalloc ve memory_profiler ile bellek izleme
Mikro benchmark tuzakları ve pytest-benchmark
py-spy ile çalışan süreci örnekleme
Erken optimizasyondan kaçınma ve ölçüm-odaklı yöntem

Günün hedefiKatılımcı akış verisini işler ve bir veri hattını uçtan uca kurar.

Modül 1

Akış İşleme ve Uygulama

Kafka konu (topic), tüketici grubu ve kafka-python ile okuma
Spark Structured Streaming ile pencere ve watermark
Log dosyası analizi: milyonlarca satırdan metrik üretme
Veri hattı (pipeline) tasarımı ve Airflow DAG temelleri
Sonuçların Elasticsearch veya veritabanına yazılması
Mini proje: sensör/log verisinden gerçek zamanlı özet paneli

Modül 2

Veri Erişimi ve Servis Mimarisi

SQLAlchemy 2.0, bağlantı havuzu ve transaction yönetimi
Redis ile önbellek ve oturum
Mesajlaşma: RabbitMQ / Kafka ile olay güdümlü mimari
Celery ile arka plan işleri ve zamanlama
REST/gRPC servis iletişimi ve yeniden deneme politikaları
Mikroservis ve modüler monolit karşılaştırması

Modül 3

Gözlemlenebilirlik ve Dağıtım

logging yapılandırması, JSON log ve korelasyon kimliği
Prometheus metrikleri, OpenTelemetry izleri ve alarm
Dockerfile en iyi uygulamalar: çok aşamalı derleme, root olmayan kullanıcı
CI/CD: GitHub Actions / GitLab CI ile test-derle-yayınla
Kubernetes dağıtımı, sağlık yoklamaları ve yapılandırma
Güvenlik taraması: bandit, pip-audit, SBOM

Modül 4

Kapsam Projesi ve Sunum

Gerçekçi bir satış/müşteri veri seti ile uçtan uca analiz
KPI tanımı: gelir, müşteri kaybı (churn), sepet büyüklüğü
Kohort ve RFM segmentasyonu temel yaklaşımı
Matplotlib/Seaborn ile yönetici panosu görselleri
Bulgu ve öneri raporu hazırlama
Proje sunumu ve geri bildirim oturumu

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

Büyük Veri Kavramları

Hacim, hız ve çeşitlilik sorunlarını depolama ve işleme mimarisiyle ilişkilendirebilirsiniz

🔧

Veri Dışa Aktarma

Sonuçları CSV, Excel, Parquet ve veritabanına doğru biçimde yazabilirsiniz

📊

PySpark

PySpark DataFrame ile dağıtık dönüştürme ve toplama işlemleri yazabilirsiniz

🧩

Birleştirme

merge, concat ve melt ile farklı tabloları doğrulayarak birleştirebilirsiniz

🚀

Vektörel Hesap

NumPy, Numba ve vektörel pandas ile döngüleri hızlandırabilirsiniz

🔍

Profilleme

cProfile ve tracemalloc ile darboğazları ölçüp önceliklendirebilirsiniz

🛡️

Servis Mimarisi

Redis, Celery ve mesaj kuyruklarıyla ölçeklenebilir servis yapıları kurabilirsiniz

📌

Uçtan Uca Proje

KPI, kohort ve RFM yaklaşımıyla gerçekçi bir analiz projesini sunabilirsiniz

Kimler İçin Uygundur?

Veri mühendisliğine geçmek isteyen analistler
pandas'ın bellek sınırlarına takılan veri bilimciler
yazılımcılar

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

Veri mühendisliğine geçmek isteyen analistler, pandas'ın bellek sınırlarına takılan veri bilimciler ve yazılımcılar.

Eğitim sonunda sertifika verilir mi?

Eğitimi tamamlayan katılımcılar Digital Vizyon Akademi Katılım ve Başarı Sertifikası almaya hak kazanır; sertifika DVA'nın kendi katılım ve başarı belgesidir.

Eğitim için hangi yazılımlar gereklidir?

Python 3.10 veya üzeri, bir kod editörü (VS Code ya da PyCharm) ve eğitimin konusuna göre listelenen paketler yeterlidir; kurulum adımları ilk oturumda birlikte kontrol edilir.

Kendi bilgisayarımda Spark çalıştırabilir miyim?

Evet, PySpark yerel modda (local[*]) çalıştırılır; küme mimarisi kavramsal olarak anlatılır.

Hadoop kurulumu gerekiyor mu?

Hayır, Hadoop/HDFS mimarisi anlatılır ancak uygulamalar yerel dosya sistemi ve Parquet ile yürütülür.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

BÜYÜK VERİ VE PYTHON İLE UYGULAMALARI EĞİTİMİ

Eğitim Hakkında

Neden Bu Eğitim?

Anahtar Konular

Ön Koşullar

Eğitim İçeriği

Büyük Veri Kavramları

Veri Okuma: CSV, Excel ve JSON

Veri Yazma ve Dışa Aktarma

SQL ile Veri Çekme

PySpark ile Veri İşleme

Gruplama ve Özetleme

Birleştirme ve Şekil Değiştirme

Python ve SQL Birlikte Analiz

Büyük Veride Pandas ve Alternatifleri

NumPy ve Vektörel Hesaplama

Eşzamanlılık ve Paralellik

Profilleme ve Ölçüm

Akış İşleme ve Uygulama

Veri Erişimi ve Servis Mimarisi

Gözlemlenebilirlik ve Dağıtım

Kapsam Projesi ve Sunum

Eğitim Kazanımları

Kimler İçin Uygundur?

Sıkça Sorulan Sorular

Sertifikalandırma

Eğitim Bilgileri

Bu Eğitimle Birlikte Tercih Edilenler

Excel with Python: Working with Excel Spreadsheets from Python Eğitimi

Excel, VBA ve Python ile Veri Analitiği - Temelden Başlayarak Eğitimi

Exploratory Data Analysis Using Python Eğitimi

Finans için Python Programlama Eğitimi

Finansçılar için Python Programlama Eğitimi