Cowork — ne olduğu ve nasıl düşündüğü

Cowork bir sohbet kutusundan fazlasıdır. Sistemin verisini okuyabilir, kayıt arayabilir, ek dosyaların içini okuyabilir, belge üretebilir ve — izin verdiğinizde — kayıt oluşturup güncelleyebilir. Bir dil modeline soru sormak ile Cowork'e iş vermek arasındaki fark budur.

Panel

Cowork sağdan açılan bir paneldir. Bulunduğunuz ekranı bilir: bir teklifin üstündeyken "bunu özetle" dediğinizde hangi teklif olduğunu sormaz.

Panelde her cevabın altında hangi modelin cevapladığı yazar. Bu bir süs değil: sistem birden çok modelle çalıştığı için, cevabı kimin verdiğini bilmek cevabı değerlendirmenin parçasıdır.

Sekiz sağlayıcı, dört kademe

Cowork tek bir modele bağlı değil. Sekiz sağlayıcının modelleri kullanılabilir — bunlardan biri şirketin kendi sunucusunda çalışan yerel bir model (Ollama).

İşi modele değil, kademeye verirsiniz:

Hangi kademede hangi modelin çalışacağı tahminle değil ölçümle belirlenir. Düzenli olarak bir yarıştırma (bake-off) koşulur: aynı altı gerçek soru, birkaç aday model, iki tekrar. Doğruluk, süre ve maliyet ölçülür; kademeler sonuca göre yeniden atanır.

Vaka

Ölçüm bir modeli kademeden düşürdü

Durum

Uzun süredir dengeli kademede olan bir model, kullanıcılara yavaş gelmeye başladı.

Yapılan

Yedi aday, altı altın soru, iki tekrar ile yarıştırma koşuldu. Model %100 doğruydu ama ortanca süresi 69,9 saniyeye çıkmıştı — yani doğru ama kullanılamaz.

Sonuç

Kademe, %100 doğrulukla 7,2 saniyede cevaplayan modele geçti. Karar bir tercih değil, bir ölçümün sonucuydu ve ölçüm kayıtlıdır.

Modeli kendiniz seçmek

Kademe yerine belirli bir modeli sabitleyebilirsiniz (pin). Sabitleme katıdır: seçtiğiniz model cevaplayamıyorsa sistem sessizce başka bir modele geçmez; adıyla hata verir ve isterseniz otomatik seçime dönmenizi söyler.

Ders

Sessiz geçiş, yanlış bir güven üretir

Belirti

Kullanıcı bir modeli seçmişti ve o modelin cevaplarını değerlendiriyordu. Aslında cevapları başka bir model veriyordu.

Kök neden

Sabitleme, cevap alamayınca sessizce başka sağlayıcıya düşüyordu. Başlıkta bir model, altında başka bir modelin cevabı vardı.

Ders

Sabitleme artık ya cevaplar ya adıyla hata verir. Mesaj balonları da seçilen modeli değil, cevaplayan modeli yazar; devreye giren bir yedek varsa bunu ayrıca işaretler.

Düşünme bütçesi

Modern modellerin bir kısmı cevaplamadan önce "düşünür" ve bu düşünme de bütçeden yer kaplar. Cowork bunu sağlayıcı bazında ve modelin desteğine göre ayarlar; desteklemeyen bir modele bu ayar hiç gönderilmez.

Ders

Düşünme bütçeyi yiyip cevabı boş bırakabilir

Belirti

Bir sağlayıcı, hatasız görünen isteklere boş içerik döndürüyordu.

Kök neden

Modelin varsayılan düşünme davranışı, verilen küçük bütçenin tamamını düşünmeye harcıyor, cevaba yer kalmıyordu. Ölçüm: 500 jetonluk bütçe tamamen düşünmeye gitti; düşük ayarla aynı soru 153 jetonda cevaplandı.

Ders

Düşünme seviyesi kademeye göre belirleniyor ve bütçeyi tüketen bir düşünme, sessiz bir boşluk değil, adıyla bir hata üretiyor.

Maliyet

Her turun maliyeti kaydedilir: hangi model, kaç jeton, ne kadar tuttu. Fiyatı tanımlanmamış bir model kullanıldığında sistem bunu "fiyatlandırılmamış" olarak raporlar; sıfır göstermez. Sıfır göstermek, ücretsiz olduğu izlenimi verirdi.

Arka planda çalışmak

Uzun işler arka plana alınabilir; panel kapalıyken de sürer ve bittiğinde cevap panelde belirir.

Ders

Panelin canlı teslimat katmanının tamamı ölüydü

Belirti

"Cevap gelmiyor, sayfayı sert yenilemek gerekiyor." Arka plan işleri bitiyor, cevap veritabanına yazılıyor, panel hiç göstermiyordu.

Kök neden

Panel, sunucudan gelen canlı mesajlara tek bir genel isimle abone oluyordu; oysa altyapı mesajları türlerine göre dağıtıyor. Abonelik hiç ateşlenmiyordu — arka plan cevapları, tur cevapları, rozetler, canlı yeniden adlandırma, hepsi aynı ölü abonelikte asılıydı.

Ders

Gönderilen her tür ayrı ayrı abone edildi ve canlı yayımlanan paketin içinde bunun böyle olduğu doğrulandı. "Kod doğru yazılmış" ile "canlıda çalışıyor" arasındaki farkı yalnızca yayımlanmış dosyayı okumak kapatır.

Ne zaman Cowork, ne zaman siz

Cowork iyi olduğu yerlerde çok iyi, olmadığı yerlerde ısrarcıdır. Kaba ayrım:

13. bölüm Cowork'ün hangi araçlarla çalıştığını ve neyi uydurmasının engellendiğini anlatıyor; asıl güven oradan geliyor.