Metodologi benchmark

Tes

Pertanyaannya sebagian besar dipilih cukup acak, dari berbagai tugas dan domain. Secara statistik, model yang lebih baik seharusnya rata-rata tampil lebih baik daripada model yang lebih lemah pada tugas acak yang tidak dipilih khusus. Saya punya latar belakang competitive programming, jadi memikirkan tes dan edge case terasa alami bagi saya.

Ini bukan nilai "IQ" yang terstandarisasi. Skor ini tidak punya satuan; ini hanya nilai arbitrer yang menunjukkan seberapa baik model bekerja di seluruh suite tes (jawaban benar + konsistensi). Saya tidak memilih model secara cherry-pick, dan saya juga tidak mengubah tes untuk mengakomodasi model tertentu. Saat saya memikirkan tes baru, saya menambahkannya, menguji ulang semua model, dan menghitung ulang skornya.

Pertanyaannya biasanya berawal dari ide sederhana seperti: "Saya penasaran apakah model-model ini bagus ketika diminta melakukan X, Y, atau Z." Contohnya: "Jawablah dengan dua bilangan asli yang sama, a dan b, yang jika dijumlahkan menghasilkan total 2. Jawab tepat dengan format ini: a,b". Beberapa AI bisa menjawab salah, misalnya "2,2". Yang lain mungkin tidak mengikuti syarat bahwa angkanya harus sama, misalnya "0,2". Yang lain bisa mengabaikan format output, misalnya "The answer is a = 1 and b = 1". Dan yang lain bisa saja langsung menjawab benar dengan "1,1".

Sebagian tes lebih kompleks dari contoh ini, tapi kurang lebih itulah intinya. Ini tidak menguntungkan model tertentu, dan pertanyaan-pertanyaan ini pada umumnya sangat mudah bagi manusia. Bukan salah saya jika Claude mengeluarkan sesuatu seperti "**1**, **1**", dengan tambahan penyorotan markdown, ketika kebanyakan model lain justru mengikuti format yang diminta dengan benar.

Cristian