PyTorch Optimizasyon Rehberi: Yüksek Performanslı Model Eğitimi

## PyTorch ve Performans Optimizasyonunun Temelleri **PyTorch**, modern derin öğrenme projelerinde esnekliği ve dinamik hesaplama grafiği yapısıyla öne çıkan lider bir kütüphanedir. Ancak, büyük ölçekli modellerin eğitimi sırasında donanım kaynaklarını verimli kullanmak, maliyet ve zaman tasarrufu açısından kritiktir. **PyTorch optimizasyon** süreçleri, sadece algoritma iyileştirmelerini değil, aynı zamanda veri yükleme, bellek yönetimi ve GPU kullanım stratejilerini de kapsar. Bu rehberde, bir modelin eğitim sürecini nasıl hızlandırabileceğinizi ve çıkarım (inference) performansını nasıl optimize edebileceğinizi teknik detaylarıyla inceleyeceğiz. Performans iyileştirmesi yaparken odaklanacağımız temel metrikler; saniye başına işlenen örnek sayısı (throughput), bellek kullanımı (memory footprint) ve modelin yakınsama hızıdır. ## Kurulum ve Ortam Hazırlığı: Performans Odaklı Yapılandırma Optimizasyonun ilk adımı, donanım ile yazılım arasındaki uyumu sağlamaktır. CUDA ve cuDNN kütüphanelerinin en güncel sürümlerini kullanmak, GPU çekirdeklerinin tam kapasiteyle çalışmasını sağlar. ```python import torch # CUDA kullanılabilirliğini kontrol etme device = torch.device("cuda" if torch.cuda.is_available() else "cpu") print(f"Kullanılan cihaz: {device}") # cuDNN benchmark modunu aktif etme # Bu ayar, girdi boyutları sabitse en hızlı algoritmayı seçer torch.backends.cudnn.benchmark = True ``` > **Not:** `torch.backends.cudnn.benchmark = True` ayarı, girdi boyutlarınız eğitim boyunca değişmiyorsa performans artışı sağlar. Ancak değişken girdi boyutlarında her seferinde yeni bir algoritma arayacağı için performansı düşürebilir. ## Veri Yükleme Hattı (Data Pipeline) Optimizasyonu Eğitim süreçlerindeki en büyük darboğaz (bottleneck) genellikle CPU ile GPU arasındaki veri transferidir. GPU, veriyi CPU'nun hazırlayabileceğinden daha hızlı işlediğinde "starvation" (açlık) durumu oluşur. ### DataLoader Parametreleri `DataLoader` sınıfındaki `num_workers` ve `pin_memory` parametreleri bu darboğazı aşmak için kritiktir. ```python from torch.utils.data import DataLoader train_loader = DataLoader( dataset, batch_size=64, shuffle=True, num_workers=4, # CPU çekirdek sayısına göre optimize edilmeli pin_memory=True, # Veriyi sayfalanabilir bellekten sabit belleğe taşır prefetch_factor=2 # Her worker'ın önceden hazırlayacağı batch sayısı ) ``` | Parametre | Açıklama | Önerilen Değer | | :--- | :--- | :--- | | `num_workers` | Veri yükleme için paralel işlem sayısı | CPU çekirdek sayısı / 2 | | `pin_memory` | Veriyi GPU'ya daha hızlı transfer eder | True (GPU kullanılıyorsa) | | `prefetch_factor` | Ön belleğe alınan batch miktarı | 2 veya 4 | ## Bellek Yönetimi ve GPU Verimliliği Bellek hatalarını (Out of Memory - OOM) önlemek ve daha büyük batch boyutları kullanabilmek için bellek yönetimini optimize etmek gerekir. ```python # Veriyi GPU'ya taşırken non_blocking kullanmak images = images.to(device, non_blocking=True) labels = labels.to(device, non_blocking=True) # Gereksiz gradyan hesaplamalarını kapatmak (Inference için) with torch.no_grad(): outputs = model(val_images) ``` Gradyan biriktirme (Gradient Accumulation), kısıtlı GPU belleği ile büyük batch boyutlarını simüle etmenize olanak tanır: ```python # Gradyan Biriktirme Örneği accumulation_steps = 4 optimizer.zero_grad() for i, (inputs, targets) in enumerate(dataloader): outputs = model(inputs) loss = criterion(outputs, targets) loss = loss / accumulation_steps loss.backward() if (i + 1) % accumulation_steps == 0: optimizer.step() optimizer.zero_grad() ``` ## Karma Hassasiyetli Eğitim (Automatic Mixed Precision - AMP) **Automatic Mixed Precision (AMP)**, modelin bazı kısımlarında 32-bit (float32) yerine 16-bit (float16) kullanarak bellek kullanımını %50 azaltır ve Tensor çekirdeklerini kullanarak hızı artırır. ```python from torch.cuda.amp import autocast, GradScaler scaler = GradScaler() for inputs, targets in dataloader: optimizer.zero_grad() # Karma hassasiyet bloğu with autocast(): outputs = model(inputs) loss = criterion(outputs, targets) # Gradyan ölçekleme scaler.scale(loss).backward() scaler.step(optimizer) scaler.update() ``` ## Dağıtık Eğitim (Distributed Data Parallel - DDP) Stratejileri Çoklu GPU sistemlerinde `DataParallel` (DP) yerine `DistributedDataParallel` (DDP) kullanılması önerilir. DDP, her GPU için ayrı bir işlem başlatarak Python'un Global Interpreter Lock (GIL) kısıtlamasını aşar. ```python import torch.distributed as dist from torch.nn.parallel import DistributedDataParallel as DDP def setup(rank, world_size): dist.init_process_group("nccl", rank=rank, world_size=world_size) # Modelin DDP ile sarılması model = model.to(rank) ddp_model = DDP(model, device_ids=[rank]) ``` ## Model Mimarisi ve Katman Optimizasyonları Model mimarisindeki küçük değişiklikler, hesaplama maliyetini büyük ölçüde etkileyebilir. Örneğin, `Bias=False` kullanımı, özellikle `BatchNorm` katmanından önce gelen `Conv2d` katmanlarında parametre tasarrufu sağlar. ```python import torch.nn as nn # BatchNorm bias etkisini nötralize ettiği için bias=False kullanımı model = nn.Sequential( nn.Conv2d(3, 64, kernel_size=3, bias=False), nn.BatchNorm2d(64), nn.ReLU() ) ``` ## JIT Derleme ve TorchScript ile Üretim Ortamı Performansı **TorchScript**, PyTorch modellerini Python bağımlılığından kurtararak C++ ortamlarında veya yüksek performanslı sunucularda çalıştırmanızı sağlar. ```python # Tracing yöntemi ile modelin script haline getirilmesi example_input = torch.rand(1, 3, 224, 224).to(device) scripted_model = torch.jit.trace(model, example_input) # Modeli kaydetme scripted_model.save("optimized_model.pt") ``` ## Profiling: Darboğazları Tespit Etme Yöntemleri Neyin optimize edilmesi gerektiğini bilmeden yapılan iyileştirmeler zaman kaybıdır. `torch.profiler` modülü, hangi katmanın veya işlemin ne kadar süre aldığını analiz eder. ```python from torch.profiler import profile, record_function, ProfilerActivity with profile(activities=[ProfilerActivity.CPU, ProfilerActivity.CUDA], record_shapes=True) as prof: with record_function("model_inference"): model(inputs) print(prof.key_averages().table(sort_by="cuda_time_total", row_limit=10)) ``` ## Derin Öğrenmede Yaygın Hatalar ve Çözümleri 1. **Sürekli Veri Transferi:** Döngü içinde CPU'dan GPU'ya veri taşımak performansı öldürür. Veriler toplu halde taşınmalıdır. 2. **Gradyanları Sıfırlamayı Unutmak:** `optimizer.zero_grad()` her adımda çağrılmalıdır, aksi halde gradyanlar birikir ve hatalı sonuçlar doğurur. 3. **Validation Moduna Geçmemek:** Değerlendirme sırasında `model.eval()` kullanılmaması, BatchNorm ve Dropout katmanlarının yanlış çalışmasına neden olur. 4. **CPU Üzerinde Loss Hesaplama:** Loss fonksiyonu ve metrikler GPU üzerinde hesaplanmalıdır. ## Performans İyileştirme İçin En İyi Uygulamalar (Best Practices) - **Fused Optimizers:** `Adam` yerine `torch.optim.AdamW(..., fused=True)` kullanarak kernel başlatma maliyetlerini azaltın. - **Channel Last Memory Format:** Görüntü işleme modellerinde bellek düzenini değiştirerek hızı artırın. - **Checkpointing:** Çok derin modellerde bellekten tasarruf etmek için `torch.utils.checkpoint` kullanın. - **Pruning (Budama):** Önemli olmayan ağırlıkları sıfırlayarak model boyutunu küçültün. ```python # Memory Format Optimizasyonu model = model.to(memory_format=torch.channels_last) inputs = inputs.to(memory_format=torch.channels_last) ``` ## Sık Sorulan Sorular (SSS) **1. num_workers değeri ne olmalıdır?** Genellikle sistemdeki fiziksel CPU çekirdek sayısına eşit veya onun yarısı kadar olması en iyi performansı verir. Deneme yanılma ile en uygun değer bulunmalıdır. **2. AMP (Karma Hassasiyet) doğruluğu düşürür mü?** Çoğu durumda doğruluk kaybı ihmal edilebilir düzeydedir. `GradScaler` kullanımı gradyan patlamalarını önleyerek stabiliteyi sağlar. **3. Neden DataParallel yerine DistributedDataParallel (DDP) kullanmalıyım?** DP, veriyi her adımda ana GPU'dan diğerlerine kopyalar ve bu bir darboğaz oluşturur. DDP ise veriyi her GPU'da bağımsız işleyerek senkronize eder, bu çok daha hızlıdır. **4. CUDA Out of Memory hatası aldığımda ne yapmalıyım?** Batch size düşürülmeli, `torch.cuda.empty_cache()` ile bellek temizlenmeli veya Gradient Accumulation tekniği uygulanmalıdır. **5. torch.jit.trace ve torch.jit.script arasındaki fark nedir?** `trace`, örnek bir girdi ile kodun izlediği yolu kaydeder; `script` ise tüm Python kodunu (döngüler ve koşullar dahil) analiz ederek bir TorchScript kodu oluşturur. ## Özet ve Sonuç PyTorch projelerinde performans optimizasyonu, bütünsel bir yaklaşım gerektirir. Veri yükleme hattından başlayarak, donanım özelliklerini (Tensor çekirdekleri, CUDA) tam kapasite kullanmak ve model mimarisini verimlilik odaklı tasarlamak, başarılı bir model eğitiminin anahtarıdır. Bu rehberde paylaşılan teknikler, modern derin öğrenme iş akışlarında standart haline gelmiş en iyi uygulamalardır.