Mercury-3 ve GPT-6 Luna: Uygulamalı Bir Kodlama Testi

Özet

Mercury-3’ün vaadi saniyede bin token. Yapay zekânın kod yazmasını bekliyorsam tam istediğim gibi geliyor. Asıl soru, model bir şey geliştirmek zorunda olduğunda bu hızın ne kazandırdığı.

Mercury-3 ve GPT-6 Luna’ya Oh My Pi içinde aynı işi verdim: sıfırdan Cookie Clicker oyunu yap, Kagantic markamı kullan ve tekrar tekrar test et. Alt ajan yok. Mercury metni çok daha hızlı üretti. Luna daha az istek ve daha düşük tahmini maliyetle gerçekten tercih ettiğim oyunu ortaya koydu.

Bu kontrollü kıyaslama değildi. Kanıtları kaydedilmiş yürütme sistemi paneli ve bitmiş oyunlar olan tek bir etkileşimli kodlama göreviydi. Sonuç yine de yararlı; çünkü üretim hızının tek başına neden kodlama oturumunu tanımlamadığını gösteriyor.

Hız iddiası gerçek, ama döngünün tamamı değil

Mercury’nin manşeti olağanüstü üretim hızı. Bu testte en iyi durumda yaklaşık saniyede 400 token gördüm. Kaydedilen ortalama saniyede 325,9 token iken Luna için 64.1 idi. Bin token vaadinin çok altında olsa da Luna hızının yaklaşık beş katı.

Metin üretim hızı gerçek. Ama kodlama ajanı tek büyük yanıtı beklemiyor. Bir şey yazıyor, araç çalıştırıyor, sonucu okuyor ve modele dönüyor. Her yeni yanıtta ilk token öncesi bekleme de var.

Bu panelde bekleme ortalama Mercury için 3,8 saniye, Luna için 1,1 saniye idi. Bekleme tekrarlanınca istek sayısı önem kazanıyor: Mercury 49, Luna ise 27 istek yaptı.

Mercury’nin ortalama isteği toplamda yine daha kısaydı: 6,2 saniyeye karşı 4,9 saniye. Ama üretim hızı, kodlama oturumunun tamamının beş kat hızlı olduğu iddiasına dönüştürülemez.

Bu panel değerleri, kayıtlı koşularımdan ekranda göründüğü gibi yuvarlanmış tahminlerdir. Sağlayıcıların veya hesaplama bütçelerinin eş koşullu kıyaslaması değildir.

Fazladan çıktı ne geliştirdi?

Mercury yaklaşık 88.000 çıktı tokenı üretti; Luna yaklaşık 16.000 üretti. Beş kattan fazla çıktı demek. Fazladan metin daha ayrıntılı bir oyun üretseydi bedelini ödemek için neden olabilirdi.

Mercury’nin oyununda temel şeyler var. Kurabiyeye tıklıyor, binalar ve yükseltmeler alıyorsunuz. Başlangıç noktası olarak çalışıyor, ama oynarken sürekli asgari ürün hissi verdi. Malzemeler vardı; eğlence henüz tam yoktu.

Luna’nın sürümü kilometre taşları, tıklama serileri, oynarken geri bildirim ve ses efektleri ekliyor. Bu küçük tepkiler tıklamayı yalnızca sayı değiştirmekten çıkarıp ilerleme gibi hissettiriyor. Bilgisayar dersindeki boş zamanda gerçekten oynayabileceğim sürüm bu.

Bu iki oyunu oynamaktan gelen kalite yargısıdır; ölçülmüş özellik puanı değil. Fazladan Mercury çıktısı bu testte tercih ettiğim oyunu üretmedi.

Herkese açık kıyaslamalar iki yönü de gösteriyor

Inception’ın çıkış grafiği Mercury’yi favori yapardı. SWE-Bench Atlas’ta Mercury için 51.1, Luna için 33.3 listeleniyor. DeepSWE birinci sürümde ise 46.3 ve 37.8 veriliyor.

Bunlar Mercury’nin galibiyetleri; görmezden gelmiyorum. Ama orta akıl yürütme etiketli modellerle Inception’ın kendi sonuçları, bağımsız tekrar değil.

Uygulama geliştirmede Vals AI’ın Vibe Code Bench’i daha ilgili. Modellerden sıfırdan web uygulamaları geliştirip özelliklerin çalışıp çalışmadığını kontrol ediyor. Vibe Code Bench v1.1’de Mercury 60.9% ve Luna 81.7% alıyor. İkisi de OpenHands kullanıyor.

Mercury aynı listede maliyet ve süreyle de öne çıkıyor: test başına 0,63 dolar ve 9 dakika 27 saniye; Luna için 1,35 dolar ve 37 dakika var. O testte Mercury gerçekten daha ucuz ve hızlı. Yalnızca Luna’nın uygulama geliştirme puanına ulaşamıyor.

Ayarlar özdeş değil. Inception orta akıl yürütme diyor. Vals model sayfaları Mercury için yüksek, Luna için en yüksek varsayılanını listeliyor; kıyaslamaya özel parametrelerin ve sağlayıcıların farklı olabileceğini uyarıyor. Görevler ve ajan düzenleri de farklı. Bu sonuçlar tek evrensel puanda birleştirilmemeli.

Yerel oyun ve herkese açık kıyaslamalar tutarlı ama sınırlı bir hikâye anlatıyor: Mercury bazı değerlendirmelerde hızlı ve ucuz olabilirken bitmiş uygulama daha az yetenekli kalabilir. Tek Cookie Clicker oyunu kıyaslamayı çürütmez; tek üretici grafiği de etkileşimli işte hangi modelin daha iyi olduğunu belirlemez.

Koşu neye mal oldu?

Yürütme sistemi Mercury koşusu için yaklaşık altı sent ve Luna için iki sent tahmin etti. Tutarlar küçük; dolayısıyla tek fatura ana kaygı değil. Sonuç, Luna’nın oyununu tercih etmem ve onun daha düşük tahminle gelmesi.

Mercury bu koşuda istek başına da daha pahalıydı: yaklaşık $0.0012; Luna için yaklaşık $0.0008. Maliyet dağılımına bakınca Mercury’de en büyük kategori çıktıydı. Luna’da ise önbellek okumalarıydı.

Bu token sayısı değil, maliyet dağılımı. İki model de çoğunlukla önbellekli tokenları okudu. Daha çok metin üretmek, para karşılığı otomatik olarak daha yararlı iş demek değil.

Vals sonucu ayrı kayıt. Listelenen maliyet ve süre yerel panelimle aynı değil, görevler de farklı. İkisi ancak kendi sınırlarıyla okunduğunda aynı yöne işaret ediyor.

Sonuç

Etkileşimli kodlamada Mercury-3’ü Luna’ya tercih etmem. Testimde Luna daha az istek ve daha düşük tahmini maliyetle daha zengin oyun verdi.

Mercury’yi önereceğim durum çok büyük toplu çıktı; hızlı dönüşe ihtiyacınız olmadığında ve kalite öncelik olmadığında. Bu, çalışan yazılımı bekleyerek ajanın yanında oturmaktan farklı bir iş.

Bir model hızını öne çıkardığında iddiayı görevin sonuna kadar izleyin: ne kadar bekliyor, kaç kez geri geliyor, ne geliştiriyor ve sonuç ne kadara mal oluyor? Sonraki kodlama modelimi bu karşılaştırmayla seçerdim.

Kaynaklar ve kapsam

• Inception: Mercury-3 tanıtımı — üreticinin bildirdiği SWE-Bench Atlas ve DeepSWE v1 sonuçları; orta akıl yürütme etiketi, 19 Ekim 2026.
• Vals AI Vibe Code Bench v1.1 — bağımsız uygulama geliştirme değerlendirmesi, OpenHands, güncelleme 24 Ekim 2026.
• Vals: Mercury-3 model sayfası ve GPT-6 Luna model sayfası — varsayılan ayarlar ve kıyaslama uyarıları.

Bu yazı kayıtlı Oh My Pi koşularımdan ve projenin kaynak notlarından derlendi. İki model eş sağlayıcı, akıl yürütme çabası veya hesaplama bütçesi kullanmış olmayabilir. Oyunlar resmî eğlence puanıyla değil, oynanarak değerlendirildi. Panel rakamları fatura değil, yuvarlanmış sistem tahminleri; herkese açık kıyaslama sonuçları birleştirilmeden ayrı raporlanıyor.