Skip to content

Judge Battle

Genel Bakış

Judge Battle düğümü, belirtilen battle için kabul edilen her gönderiyi alır ve tanımlı bir puanlama kriterleri kümesine göre değerlendirmek üzere bir AI hakem modeline gönderir. Her kriter bağımsız olarak sayısal ölçekte puanlanır ve ham kriter başına puanlar aşağı akış toplamlaması için yayılır. parallel_evaluation etkinleştirildiğinde tüm gönderiler duvar saati süresini minimize etmek için eş zamanlı değerlendirilir.

Tam dokümantasyon için İngilizce sayfaya bakınız: Judge Battle (EN)

Yapılandırma

AlanTürZorunluVarsayılanAçıklama
battle_idstringEvetYargılanacak battle'ın UUID'si. Statik değer veya yukarı akış düğümü çıktısını referans alan şablon ifadesi olabilir.
model_keystringEvetKullanılacak hakem modelinin tanımlayıcısı (ör. "claude-sonnet-4-6", "gpt-4o").
criteriaarray of objectsEvetPuanlama boyutları. Her öğe name (string) ve description (string) içermelidir.
max_score_per_criterionintegerHayır10Her kriterin puanı için üst sınır.
parallel_evaluationbooleanHayırfalsetrue olduğunda tüm gönderiler eş zamanlı değerlendirilir. Verimi artırır ancak oran sınırlama riskini de artırır.

Girdiler

Bağlantı NoktasıTürAçıklama
inputobjectİsteğe bağlı yukarı akış verisi. battle_id anahtarı statik yapılandırma değerini geçersiz kılar.

Çıktılar

Bağlantı NoktasıTürAçıklama
outputobjectbattle_id, judged_at (ISO-8601 zaman damgası) ve evaluations — her gönderi için bir nesne içeren dizi, her biri contender_id, submission_id ve scores (kriter adını sayısal puana eşleyen nesne) içerir.

Notlar

  • Her kriter açıklaması doğrudan hakemin sistem istemine enjekte edilir; modelin niyeti tahmin etmesi gerekmeyecek şekilde açık ve bağımsız açıklamalar yazın.
  • parallel_evaluation: true, çok sayıda gönderisi olan battle'lar için gecikmeyi önemli ölçüde azaltabilir, ancak her paralel çağrı bağımsız olarak oran sınırlarından düşer.
  • Bu düğüm yürütüldüğünde battle'ın kabul edilmiş gönderisi yoksa düğüm başarılı olur ve evaluations: [] yayar.
  • BYOK çalışma alanları model_key'i kendi sağlayıcı kimlik bilgilerine karşı çözer; anahtar yapılandırılmış bir sağlayıcıyla eşleşmezse düğüm hemen başarısız olur.