DeepSeek ve Peking Üniversitesi iş birliğiyle tanıtılan Engram yöntemi, yapay zekâ eğitiminde devrim yaratacak
DeepSeek, Peking Üniversitesi ile iş birliği içinde geliştirdiği Engram adlı yeni yapay zekâ eğitim yöntemini duyurdu. Bu yenilikçi yöntem, bellek depolama ile hesaplama süreçlerini ayrıştırarak, büyük dil modellerinin karşılaştığı performans ve maliyet sorunlarına çözüm sunmayı amaçlıyor. Geleneksel büyük dil modelleri, yüksek bant genişliğine sahip belleklere ihtiyaç duyarken, bu durum performansı kısıtlamakta ve donanım maliyetlerini artırmaktadır.
Engram, GPU belleğini doldurmadan temel bilgileri hızlıca bulup çıkarabilen bir yapı sunarak bellek kapasitesini daha karmaşık görevlere odaklanarak serbest bırakıyor. Bu yenilikçi yöntem, bilgiye erişimi hash’lenmiş N-gramlar üzerinden gerçekleştirerek modelin anlık bağlamından bağımsız bir bellek erişimi sağlıyor.
Engram yöntemi 27 milyar parametreli bir model üzerinde test edilmiş ve sektörde kullanılan testlerde ölçülebilir performans artışları göstermiştir. Aynı zamanda Phison’ın yapay zekâ çıkarım hızlandırıcıları gibi donanım dostu çözümlerle birlikte çalışabilme özelliğiyle dikkat çekmektedir.
Phison’ın sunduğu SSD tabanlı bellek genişletme çözümleri, Engram gibi büyük yapay zekâ sistemlerinin toplam bellek kapasitesini artırırken GPU bellek darboğazlarını aşmayı hedeflemektedir. Bu sayede sistemler, hızlı belleği daha verimli kullanırken toplam bellek kapasitesini ekonomik bir şekilde büyütebilmektedir.
Engram’ın deterministik bilgi erişim mekanizması, bellek kapasitesinin birden fazla GPU arasında doğrusal şekilde ölçeklenmesine izin verirken, asenkron önceden yükleme desteği ile alt katmanlardaki bilgi yükünü azaltarak dikkat mekanizmalarını optimize etmekte ve pahalı HBM yükseltmelerine olan ihtiyacı azaltmaktadır.
Engram sayesinde modellerin parametre ölçeği ve akıl yürütme kapasitesi artarken aynı zamanda bellek ihtiyacı daha dengeli yönetilebilmektedir. Bu durum, uzun vadede DDR5 DRAM fiyatlarındaki dalgalanmalara karşı bir çözüm sunabilir ve pahalı bellek donanımlarına olan ihtiyacı azaltabilir.
