Mistral Large 4: Araç Kullanımındaki Sürtüşme
Mistral, Large 4’ün ağırlıklarını yayımladı; herkese açık önizlemesine göre kodlama performansının ve akıl yürütme verimliliğinin arttığını bildiriyor. Şirket, yayımladığı karşılaştırmalarda daha düşük token tüketimiyle bu sürümü ajan tabanlı kodlama için açık ağırlıklı bir seçenek olarak konumlandırıyor. Kaynak: Mistral’ın duyurusu.
Kâğıt üzerinde çekici bir öneri. Ancak benim iş akışımda alışılmadık araçları ele alış biçimi hâlâ sınırlayıcı.
Yayımlanan sonuçlar ve pratik deneyim
Mistral’a göre Large 4, Artificial Analysis Coding Agent Index’te %48 alırken benzer puandaki GLM-5.3’e göre görev başına ortalama %47 daha az token kullanıyor. Şirket Terminal-Bench 4.0’da da önizlemeye göre 13 yüzde puanı artışla %41 bildiriyor. Bunlar kendi testlerimin ölçümleri değil, Mistral’ın duyurusunda sunduğu sonuçlar. Kaynak: Mistral’ın yayımlanan sonuçları.
Bu sonuçlar modeli değerlendirmem için bir neden veriyor. Kullandığım araçlara uygunluğu konusundaki kaygılarımı gidermiyor.
Bir kodlama ajanını yalnızca kod üretme yeteneğiyle değerlendirmiyorum. Sunulan arayüzleri anlamasını, ortama özel talimatlara uymasını ve iş akışının nasıl işlediğini tekrar tekrar açıklamamı gerektirmeden çalışmasını da bekliyorum.
Alışılmadık araçlarda Mistral Large 4 deneyimim, yayımlanan performansının düşündürdüğünden daha az ikna edici oldu.
Bu kişisel değerlendirmem; her kurulum için genel bir bulgu değil. Zorluğun modelden mi, entegrasyondan mı, çevresindeki yapılandırmadan mı kaynaklandığını ayırmadım. Bunu kontrollü karşılaştırma olarak sunmam veya her sınırlamayı modelin kendisine yüklemem.
Ama kendi araç seçimimde önemli olan deneyimin tamamı.
Manşetteki puan gerçekte neyi ölçüyor?
Artificial Analysis’in Ekim 2026 yöntemi, Coding Agent Index’i üç değerlendirmenin eşit ağırlıklı ortalaması olarak tanımlar. Herkese açık satırları, yalıtılmış temel modeli değil; davranışı etkileyen ayarlar dahil ajan türevlerini temsil eder. Kaynak: Artificial Analysis’in kodlama ajanı yöntemi.
| Bileşen | Görev sayısı | Puana ne katkı sağlar? |
|---|---|---|
| FrontierCode v1.1 | 100 | Depo değişiklikleri; engelleyici hatalar sıfır, diğerleri dereceli puanlanır |
| Terminal-Bench 4.0 | 66 | Terminal görevleri; otomatik geçti/kaldı |
| SWE-Atlas-QnA-AA | 124 | Depo soruları; ölçüt tabanlı geçti/kaldı |
Artificial Analysis görev başına üç deneme bildiriyor. Tablo bağımsız tekrarlanmış Mistral sonuçlarını değil, yöntemi anlatıyor. Kaynak: endeks bileşenleri ve puanlama.
Korunması gereken bir sürüm farkı da var. Mistral’ın ayrı %19,7 sonucu, Cognition’ın özel FrontierCode 2.0 değerlendirmesiyle ilgilidir; yukarıda listelenen FrontierCode v1.1 bileşeniyle değil. Bu iki sonucu aynı değerlendirmeyi kullanıyormuş gibi birleştirmem veya doğrudan karşılaştırmam. Kaynak: Mistral’ın FrontierCode iddiası.
Benim yorumum, bu kıyaslamaların değerlendirilen görevler ve yapılandırmalar hakkında kanıt sunduğu. Her özel araç arayüzüyle uyumluluğu kanıtlamıyorlar. Aynı şekilde araç kullanımına yönelik eleştirim, kıyaslama sonuçlarının yanlış olduğunun kanıtı değil.
Gerçekten kullandığım iş akışı için bir test
Bu site yerel değerlendirme için somut gereksinimler sunuyor: tek başlık değişikliği kaynak dosyalarla üretilen yayın yüzeylerinde tutarlı kalmalı. Belgelenmiş iş akışı kaynak incelemesini gerçek tarayıcı doğrulamasından da ayırıyor. Bunlar Mistral’da gözlemlenen hatalar değil, depo gereksinimleri. Bunları şu belgeye yazdım: indirilebilir araç kullanımı değerlendirme protokolü (Markdown).
| Önerilen durum | Neyi kontrol ederdim? |
|---|---|
| Yayın tutarlılığı | URL’yi, gövdeyi veya alıntıları değiştirmeden başlığı her yerde güncellemek |
| Bilinmeyen araç şeması | Yayımladığını iddia etmeden sahte öneri arayüzünü doğru kullanmak |
| Eski sürüm | Yapılandırılmış çakışma sonrası eski argümanları tekrarlamak yerine güncel durumu okumak |
| Eksik tarayıcı yeteneği | Başarılı kontrol uydurmak yerine işlenmiş yerleşimi doğrulanmamış olarak bildirmek |
Öneri ve çakışma durumları, mevcut site araçlarının açıklaması değil, gelecekteki değerlendirme için tanımladığım kontrollü test düzenekleridir. Protokol; kaydedilmiş araç tanımları, sabit başlangıç görüntüsü, özdeş ayarlar ve saklanmış yürütme izleri gerektirir. Yetkilendirme hatalarını kodlama hatalarından da ayırır.
Durum: hazırlandı; Mistral veya karşılaştırma modeliyle çalıştırılmadı. Protokol, bağdaştırıcısı ve test düzenekleri uygulanıp arşivlendiğinde tekrarlanabilir bir şartnamedir; çalıştırılabilir model kıyaslaması veya sonuç değildir. Bildireceğim yeni bir hata oranı veya model sıralaması yok.
Verimlilik gözetimi de içermeli
Mistral’ın token verimliliğine önem vermesi güzel, ama benim verimlilik tanımım görevi tamamlamak için gereken dikkati de içeriyor.
İş akışı daha çok müdahale gerektiriyorsa düşük token sayısı benim için hesabı kapatmıyor. Ortamı esasen modele uydurmak için basitleştirmek yerine modelin ortama uyum sağlamasını istiyorum.
Burada ölçüm ayrımı da var. Artificial Analysis token ve maliyet ölçülerini kıyaslama denemeleri boyunca birleştirirken manşet endeksi farklı puanlama sistemlerini ortalar. Ortalama maliyeti endeksin %48’ine bölüp sonucu “tamamlanan görev başına maliyet” diye adlandırmam. Kaynak: toplulaştırma ve verimlilik yöntemi.
Önerdiğim değerlendirmede bunun yerine tanımlı bir deneme kümesinin ölçülen toplam API faturasını belirtilen başarı ölçütlerini sağlayan deneme sayısına bölerdim. Başarılı deneme yoksa ölçü sıfır değil, tanımsız olurdu. İnsan müdahalesi ayrı kaydedilirdi. Bu, Mistral’ın yayımlanan sonuçlarına uygulanmış hesap değil, önerdiğim ölçüm.
Burada maddi dezavantajı kanıtlayan ölçülmüş bir maliyet karşılaştırmam yok. Kaygım pratik: alışılmadık araçlarla yaşanan sürtüşme, modelin temel yeteneklerinden aldığım değeri azaltıyor.
Dolayısıyla Mistral Large 4, iş akışımın bariz birincil seçeneği olmaktan çok umut verici kalıyor. Yayımlanan sonuçları güçlü; ama daha güçlü öneride bulunmam için gerçekten kullandığım araçları daha güvenilir ele alması gerekiyor.
