Yılbaşı akşamının ilk hediyesi Çin’in #ChatGPT ’si #deepseek ‘den geldi. #DeepSeek CEO’su Wenfeng Liang tarafından yayınlanan makale, #LLM dünyası için devrim niteliğinde. #LLM dünyasının devleri #OpenAI #Anthropic #Google da sarsıntı yapabilecek güçte, üstelik iddialar şubat ayına doğru #Çin’in yeni ve güçlü #model çıkaracağı yönünde. Belki bu makale habercisi durumunda. Peki ne anlatıyor? 📌Büyük dil modelleri (#ChatGPT gibi) katman katman çalışır. Yani her katman bir #filtre gibi bir katmandan çıkan bilgi bir sonrakine gider. Ancak #BİLGİ bu katmanlar arasında giderken ya güçleniyor ya da zayıflıyordu. Bu sorunu çözmek, modelin dengesini korumak için residual connection (kısayol bağlantısı) kavramı kullanılıyordu. 📌Ancak araştırmacılar tek bir kısa yolun yetmediği ve birden fazla kısa yola ihtiyaç duyduğunu öne sürdüler (Hyper-Connections). Aslında mantıklı gibi gözüken bu görüş #LLM ‘lerde yeni sorunlara neden oldu. Çok fazla kısayol eklenince, model kontrolden çıkmaya baş...