Ανεξάρτητη κατάταξη: πρώτο το Fable 5.1, δεύτερο το Astra

Στις 4 Σεπτεμβρίου η Artificial Analysis δημοσίευσε το Intelligence Index v4.2, ενδιάμεση ενημέρωση πριν από την προγραμματισμένη v5. Πρώτο στην κατάταξη βγαίνει το Claude Fable 5.1 και δεύτερο το GPT-6 Astra· με max effort, 57 έναντι 55. Η ουσιαστική αλλαγή είναι στη μεθοδολογία: τα ιδιωτικά, μη δημοσιευμένα test sets (σύνολα δοκιμών) φτάνουν πλέον το 40% του βάρους, από το μισό στην v4.1. Το GPQA Diamond αποσύρθηκε ως κορεσμένο. Μπήκαν δύο νέα τεστ, το AA-Briefcase και το GDP.pdf — και στο GDP.pdf προηγείται το Astra, με 33,2% έναντι 26,2%.

Γιατί έχει σημασία: όταν οι εταιρείες βαθμολογούν μόνες τους τα μοντέλα τους, ένα ιδιωτικό test set αξίζει περισσότερο από κάθε δελτίο τύπου.