Yapay zeka projeniz için yönetim kurulunu ikna ettiniz, devasa bir bütçe ayırdınız ve dünyanın en güçlü ekran kartlarından biri olan NVIDIA H200 veya L40S barındıran bir sunucu kiraladınız. Üreticinin yayınladığı resmi belgelere (Datasheet) göre bu cihaz saniyede akıl almaz miktarda işlem (TFLOPS) yapabilme kapasitesine sahip.
Ancak modeli eğitmeye (Training) veya canlıya (Inference) aldığınızda bir şeyler ters gitmeye başlar. Saniyede üretilen token (Token per second) hızınız beklenenin çok altındadır. Eğitim süreciniz hesapladığınızdan haftalarca daha uzun sürer. Modelin performansını izleyen grafiklerde, gücün ara ara dibe vurduğunu ve sistemin yavaşladığını görürsünüz. “Acaba kodumda mı bir hata var?” veya “Yanlış GPU’yu mu seçtik?” diye düşünürken asıl suçlunun sistem odasındaki “fizik” kuralları olduğu aklınıza gelmez.
Bu sinsi ve yıkıcı performans katilinin sektörel adı Thermal Throttling (Termal Darboğaz/Isıl Kısma)‘dır.
Peki Thermal Throttling tam olarak nedir? Milyonlarca lira değerindeki bir çip neden kendi hızını bilerek yavaşlatır ve en önemlisi; doğru tasarlanmamış veri merkezleri paranızı (GPU gücünüzü) nasıl çöpe atar? Bu rehberde, yapay zeka dünyasının en karanlık problemlerinden birini ve DALNET’in kurumsal iklimlendirme mimarisiyle bu sorunu nasıl kökünden çözdüğünü inceliyoruz.
Thermal Throttling (Termal Darboğaz) Nedir?
Basit bir benzetmeyle başlayalım: Bir spor otomobilin motoru inanılmaz hızlara çıkabilir, ancak motor soğutma suyu yetersiz kalırsa ve sıcaklık tehlikeli boyutlara ulaşırsa, otomobilin beyni motoru korumak için gücü anında keser ve aracın yavaşlamasını sağlar. Eğer bunu yapmazsa motor tamamen erir ve yanar.
GPU’lar da (Grafik İşlem Birimleri) tam olarak bu güvenlik mekanizmasıyla çalışır. Bir yapay zeka modeli eğitirken, GPU’nun içindeki milyarlarca transistör aynı anda çalışır ve devasa bir elektrik enerjisini “Isıya” dönüştürür. NVIDIA veya AMD kartlarının içinde gömülü sıcaklık sensörleri bulunur. Eğer çipin sıcaklığı üreticinin belirlediği kritik eşiği (Genellikle 85°C – 90°C civarı) aşarsa, kart kendini fiziksel olarak yakmamak için anlık bir karar alır: Saat hızını (Clock Speed) düşürür ve çektiği voltajı azaltır.
İşte işlemcinin soğuyabilmek adına kendi performansını “bilerek ve isteyerek” düşürmesi işlemine Thermal Throttling denir. Sistem soğuduğunda hız tekrar artar, ancak tekrar ısındığında yeniden yavaşlar. Bu durum saniyeler içinde defalarca tekrarlanır ve ortaya istikrarsız, yavaş ve verimsiz bir AI performansı çıkar.
Kağıt Üzerindeki Performans vs Gerçek Dünya
GPU üreticilerinin (NVIDIA, AMD) ürün tanıtımlarında gösterdikleri o muazzam hız testleri (Benchmarklar), “İdeal Laboratuvar Şartlarında” ve kusursuz soğutma (Maximum Boost Clock) altında yapılmış testlerdir.
- Base Clock (Temel Hız): GPU’nun standart şartlarda çalışmayı garanti ettiği güvenli hızdır.
- Boost Clock (Turbo Hız): Yeterli güç (Watt) ve mükemmel soğutma (Thermal Headroom) olduğu sürece GPU’nun çıkabileceği maksimum zirve hızıdır.
Ucuz veya altyapısı yetersiz bir bulut sağlayıcıdan GPU kiraladığınızda, o kart hiçbir zaman “Boost Clock” hızında kalamaz. Sıcaklık eşiğine çarptığı an Base Clock hızına, hatta daha altına düşer. Siz kağıt üzerinde “Aylık 10.000 Birimlik” bir güç satın aldığınızı sanırken, kötü soğutma yüzünden aslında o gücün sadece “6.000 Birimini” kullanabilirsiniz. Paranızı kelimenin tam anlamıyla ısıya kurban edersiniz.
GPU Sunucuları Neden Aşırı Isınır? (Veri Merkezi Faktörü)
Evinizdeki oyuncu bilgisayarının ısınmasıyla, veri merkezindeki (Data Center) bir AI sunucusunun ısınması tamamen farklı dinamiklere sahiptir. Thermal Throttling’in başlıca sebepleri şunlardır:
1. Hatalı Sunucu Kasası (Chassis) Tasarımı
Bazı ucuz hizmet sağlayıcılar, GPU’ları standart web sunucusu kasalarına zorla sığdırmaya çalışırlar. Oysa yapay zeka sunucuları, içinden fırtına gibi hava akımı (Airflow) geçmesi gereken özel kasalara ihtiyaç duyar. Kabloların yanlış konumlanması veya fanların yetersiz kalması, GPU’nun boğulmasına neden olur.
2. Yoğunluk (Density) Hırsı ve “Gürültülü Komşular”
Bir sunucu kabinine (Rack) ne kadar çok cihaz sıkıştırırsanız o kadar çok kar edersiniz mantığı, AI dünyasında felakettir. Üst üste dizilmiş 4 adet devasa GPU sunucusu, kabin başına 30 kW ila 40 kW elektrik harcayabilir. Alttaki sunucuların sıcak egzoz havası, üstteki sunucuları pişirir.
3. Veri Merkezi İklimlendirme (Hot Spot) Eksikliği
Veri merkezindeki klimalar (CRAC) odayı ne kadar soğutursa soğutsun, hava akışı “Sıcak Koridor / Soğuk Koridor” (Hot/Cold Aisle Containment) mantığıyla fiziksel olarak izole edilmemişse; sunucuların dışarı attığı kaynar hava tekrar sunucuların ön tarafına (girişine) sızar. Çipler sıcak havayı soludukları için anında darboğaza girerler.
Thermal Throttling Yaşadığınızı Nasıl Anlarsınız?
Eğer bir yapay zeka modelini çalıştırıyorsanız ve yavaşlıktan şüpheleniyorsanız, Linux terminali üzerinden bunu tespit etmek çok kolaydır:
nvidia-smi dmon komutunu çalıştırdığınızda, GPU’nun anlık saat hızını (sm), sıcaklığını (temp) ve güç tüketimini (pwr) görebilirsiniz. Eğer model %100 yük altındayken saat hızı aniden dalgalanıyor, güç tüketimi (Watt) düşüyor ve sıcaklık 85°C sınırlarına dayanıyorsa; tebrikler, paranızı boşa harcadığınız bir Thermal Throttling yaşıyorsunuz demektir.
(Not: Sıvı soğutmanın detayları ve donanım limitleri hakkında hazırladığımız diğer özel rehberimizi de blog sayfamızdan okuyabilirsiniz.)
DALNET ile Sıfır Darboğaz: Gerçek Gücü Hissedin
Yapay zeka yatırımlarınızın kağıt üzerinde kalmasını istemiyorsanız, kiraladığınız GPU’nun sadece ismine (H200, L40S) değil, o çipin barındırıldığı veri merkezinin fiziksel mühendisliğine odaklanmalısınız.
DALNET, GPU as a Service (GaaS) altyapısını inşa ederken, AI sunucularının yarattığı bu devasa ısı problemlerini çözmek için uçtan uca kurumsal bir iklimlendirme mimarisi tasarlamıştır:
- Sıcak ve Soğuk Koridor İzolasyonu (Containment): Sunucularımıza giren buz gibi hava ile sunucuların egzozundan atılan kaynar hava, fiziksel panellerle birbirinden tamamen ayrılır. Çipleriniz her saniye sadece en ideal derecedeki havayı solur.
- Optimize Edilmiş Kabin Yoğunluğu: Kar hırsıyla sunucuları üst üste yığmayız. Her kabinin destekleyeceği termal kapasite mühendislerimizce hesaplanır ve cihazlar arası yeterli nefes alma boşlukları bırakılır.
- Boost Clock Garantisi: DALNET veri merkezlerindeki kusursuz soğutma altyapısı sayesinde, kiraladığınız NVIDIA GPU’lar en ağır “Training” (Eğitim) maratonlarında bile “Boost Clock” seviyesinde saatlerce stabil kalır.
Özetle, DALNET’te kiraladığınız GPU gücünün %100’ünü alırsınız. Termal darboğazlarla (Thermal Throttling) eğitim sürelerinizi uzatmamak, paranızı tam performansa çevirmek ve donanım limitlerini zorlayan AI projeleri inşa etmek için DALNET bulut mimarlarıyla hemen iletişime geçin.
