DeepSeek ve Pekin Üniversitesi, yapay zeka dünyasında yaşanan donanım darboğazını aşmak için Engram isminde yeni bir eğitim tekniği geliştirdi. Bu yenilikçi yol, bellek depolama alanını hesaplama süreçlerinden ayırarak sistemlerin çok daha verimli çalışmasını sağlıyor. Bilindiği üzere, günümüzdeki büyük lisan modelleri bilgiye ulaşmak için çok kıymetli olan yüksek bant genişlikli belleklere (HBM) muhtaçlık duyuyor. Bu ağır talep, DRAM fiyatlarının yalnızca 10 hafta içinde 5 katına çıkmasının temel nedeni olarak gösteriliyor.

Yapay Zekada Değerli Donanım Bölümü Bitiyor mu? DeepSeek Engram’ı Tanıttı

Geliştirilen sistem, modellerin GPU belleğini gereksiz yere doldurmadan gereksinim duyduğu bilgileri “arayıp bulmasına” (lookup) imkan tanıyor. Böylelikle sistemin kapasitesi, kolay süreçler yerine daha karmaşık akıl yürütme misyonları için kullanılabiliyor. 27 milyar parametreli bir model üzerinde gerçekleştirilen testler, Engram sisteminin sanayi standartlarında gözle görülür performans artışları sağladığını kanıtladı.

Engram, statik bilgi erişimini anlık süreç yoğunluğundan bağımsız hale getiriyor. Bu formül, Phison üzere uygun maliyetli SSD çözümleri ve yeni CXL standartlarıyla birlikte çalışarak toplam bellek kapasitesini artırmayı mümkün kılıyor. Sonuç olarak yapay zeka sistemleri, kıymetli bellek ünitelerini meşgul etmeden hızlı ve verimli bir şekilde çalışabiliyor.

Araştırmalar, parametre bütçesinin %20 ila %25’lik kısmını Engram modülüne ayırmanın, klâsik modellere kıyasla daha yüksek performans sağladığını gösteriyor. Bu teknik, bilhassa HBM belleklere erişimin güç ve değerli olduğu bölgelerde donanım üzerindeki baskıyı hafifletebilir. Bu da DRAM fiyatlarındaki ani dalgalanmaların önüne geçilmesine yardımcı olabilir.

Sizce bu tıp yazılım tabanlı verimlilik tahlilleri, son devirde artan donanım fiyatlarının düşmesini sağlar mı?