# @alican.kiraz0 on Instagram

- **Type:** Image
- **Original URL:** https://www.instagram.com/p/DR6Mk_XDMmP
- **Gondola URL:** https://gondola.cc/posts/63335767-alicankiraz0-instagram
- **Thumbnail:** https://img.gondola.cc/tr:w-,h-,fo-auto/postThumbnails/1c32740059.jpg
- **Posted:** 2025-12-06T04:54:15.000+00:00
- **Account Owner:** Alican Kiraz (@alican.kiraz0) — https://gondola.cc/alican.kiraz0

## Caption

Selamlar Dostlar, tüm gece 6xH200 ile ~800 Vram kullanarak Mistral Large 3 QLoRa finetune üzerinde ve Mac Studio M3 Ultra 512GB + Nvidia DGX Spark ile exolab cluster üzerinde çalıştım. 

06.12.25 Çalışma Notlarım;

1) 6xH200 ile Mistral Large 3 üzerinde finetuning için çalışmalara başladım. Bu yeni Mistral modeli çıktığında beni fazla heyecanlandırmasada finetune ederek üzerinde çalışmak ve sınırlarını test etmek istedim. 🦾 Finetuning için zorlayıcı bir yapısı yok gibi, son Deepseek v3.2’den ayrıldığı yönler ise; Uzun cevaplı, agentik, CoT’lu workload’larda Mistral’in çıktısı özellikle çok pahalı. Mistral’in 256K context’i güzel, ama attention hala O(L^2). DeepSeek V3.2 DSA ile O(L·k) ve raporlara göre 128K’de %70’e varan cost düşüşü gösteriyor. 100K’dan fazla token senaryolarda, aynı task için Mistral’i çalıştırmak hem daha yavaş hem de daha pahalı oluyor.  DeepSeek-V3.2 agent, agent-coding ve agent-search için ayrı yetkinlikleri ve RL pipeline’ı var. Mistral Large 3’de function calling var ama agent için özel RL pipeline / interleaved reasoning gibi bir katmanları ve yapısal bir thinking formatı yok. 

Ama Mistral finetune için daha elverişli bir mimari ve yapıya sahip, Apache 2.0 lisans ile beraber bu cezbedici. Ama parametre boyutları finetune önünde en büyük engellerden. Sürecin devamında gelişmeleri paylaşıyor olacağım 🙏🏻

2) Mac Studio ve DGX Spark exolab ile first token generation’ı DGX Spark’a yaptırıp 4x hız kazanımı veriyormuş. Bunun için kurcalamalara başladım; 80 Gbps Thunderbolt ve 40 Gbps Cat kablo ile denemeler yaptım. İlk aşamada sağlıklı çıktılar alamadım, ayrıca en büyük sorunlardan biride M3 Ultra’da 512 GB’de 450 GB kullanılabilir vram ve DGX’de 128GB’de kullanılabilir 100 GB vram olduğundan iki makineyede ağırlıkları sığacak bir model seçip test etmem gerekti. Bunda da uyum sorunları yaşadım. Hatayı analiz edip derinşeştirdikçe detayları paylaşacağım 🙏🏻🦾

#nvidia #dgx #h200 #m3ultra #macstudio #llm #ai

## Stats

- **Views:** 0
- **Likes:** 0
- **Shares:** 0
- **Comments:** 0

## Tags

llm, macstudio, m3ultra, ai, h200, nvidia, dgx

---
Copyright (c) Gondola