chore: weekly evaluation refresh 2026-11-09
This commit is contained in:
opencode-go-evals
+508
-527
File diff suppressed because it is too large
Load Diff
+876
-820
File diff suppressed because it is too large
Load Diff
@@ -1,6 +1,30 @@
|
||||
// AUTO-GENERATED by scripts/sync-catalog.mjs — do not edit by hand.
|
||||
// Rolling week-over-week snapshot of the Intelligence Index.
|
||||
export const HISTORY = [
|
||||
{
|
||||
"date": "2026-11-09",
|
||||
"scores": {
|
||||
"gpt-6-luna": 27.9,
|
||||
"claude-haiku-5-5": 36.5,
|
||||
"muse-spark-1.3-contributor": 36.6,
|
||||
"gemini-4-argon-contributor": 50.4,
|
||||
"glm-5.3": 31.7,
|
||||
"mimo-v2.6-flash": 26.7,
|
||||
"beam-free": 17.7,
|
||||
"glm-5.3-flash": 27.8,
|
||||
"qwen3.8-max": 33.7,
|
||||
"mimo-v2.6-pro": 29.9,
|
||||
"gemini-4-argon": 50.4,
|
||||
"minimax-m3.1-flash": 29.1,
|
||||
"grok-4.7": 35.5,
|
||||
"step-5-preview": 28.5,
|
||||
"gpt-5.6-luna": 23.8,
|
||||
"kimi-k3.1-pro": 46.5,
|
||||
"minimax-m3.1-flash-free": 29.1,
|
||||
"deepseek-v4-pro": 23.1,
|
||||
"minimax-m3": 18.9
|
||||
}
|
||||
},
|
||||
{
|
||||
"date": "2026-11-02",
|
||||
"scores": {
|
||||
|
||||
@@ -1,4 +1,28 @@
|
||||
[
|
||||
{
|
||||
"date": "2026-11-09",
|
||||
"scores": {
|
||||
"gpt-6-luna": 27.9,
|
||||
"claude-haiku-5-5": 36.5,
|
||||
"muse-spark-1.3-contributor": 36.6,
|
||||
"gemini-4-argon-contributor": 50.4,
|
||||
"glm-5.3": 31.7,
|
||||
"mimo-v2.6-flash": 26.7,
|
||||
"beam-free": 17.7,
|
||||
"glm-5.3-flash": 27.8,
|
||||
"qwen3.8-max": 33.7,
|
||||
"mimo-v2.6-pro": 29.9,
|
||||
"gemini-4-argon": 50.4,
|
||||
"minimax-m3.1-flash": 29.1,
|
||||
"grok-4.7": 35.5,
|
||||
"step-5-preview": 28.5,
|
||||
"gpt-5.6-luna": 23.8,
|
||||
"kimi-k3.1-pro": 46.5,
|
||||
"minimax-m3.1-flash-free": 29.1,
|
||||
"deepseek-v4-pro": 23.1,
|
||||
"minimax-m3": 18.9
|
||||
}
|
||||
},
|
||||
{
|
||||
"date": "2026-11-02",
|
||||
"scores": {
|
||||
|
||||
+190
-231
@@ -1,123 +1,93 @@
|
||||
{
|
||||
"generated": "2026-11-02T05:24:13.718Z",
|
||||
"generated": "2026-11-09T05:24:25.577Z",
|
||||
"models": [
|
||||
"qwen3.7-plus",
|
||||
"step-5-preview-free",
|
||||
"hy4-preview",
|
||||
"cat-jam-free",
|
||||
"gemini-4-argon",
|
||||
"beam-free",
|
||||
"grok-4.7",
|
||||
"minimax-m3.1-flash-free",
|
||||
"qwen3.8-flash",
|
||||
"step-5-preview",
|
||||
"kimi-k3.1-pro",
|
||||
"kimi-k3",
|
||||
"hy3",
|
||||
"deepseek-v4.1-flash",
|
||||
"deepseek-v4-pro",
|
||||
"gemini-4-argon-contributor",
|
||||
"mimo-v2.6-flash",
|
||||
"iceman-contributor-free",
|
||||
"gpt-5.6-luna",
|
||||
"kimi-k2.7-code",
|
||||
"mimo-v2.5",
|
||||
"space-bunny",
|
||||
"longcat-2.5-preview-free",
|
||||
"glm-5.2",
|
||||
"glm-5.3-flash",
|
||||
"gpt-6-luna",
|
||||
"glm-5.3",
|
||||
"qwen3.8-max",
|
||||
"mimo-v2.5-pro",
|
||||
"deepseek-v4.1-flash",
|
||||
"qwen3.8-flash",
|
||||
"claude-haiku-5-5",
|
||||
"minimax-m2.7",
|
||||
"longcat-2.0",
|
||||
"minimax-m3",
|
||||
"mimo-v2.6-pro",
|
||||
"muse-spark-1.3-contributor",
|
||||
"longcat-2.5-preview-free",
|
||||
"gemini-4-argon-contributor",
|
||||
"qwen3.7-plus",
|
||||
"glm-5.3",
|
||||
"mimo-v2.6-flash",
|
||||
"beam-free",
|
||||
"space-bunny",
|
||||
"mimo-v2.5",
|
||||
"cat-jam-free",
|
||||
"hy4-preview",
|
||||
"minimax-m2.7",
|
||||
"kimi-k3",
|
||||
"glm-5.3-flash",
|
||||
"iceman-contributor-free",
|
||||
"glm-5.2",
|
||||
"mimo-v2.5-pro",
|
||||
"qwen3.8-max",
|
||||
"mimo-v2.6-pro",
|
||||
"gemini-4-argon",
|
||||
"minimax-m3.1-flash",
|
||||
"muse-spark-1.2-contributor",
|
||||
"minimax-m3.1-flash"
|
||||
"longcat-2.0",
|
||||
"grok-4.7",
|
||||
"crouton-alpha-free",
|
||||
"hy3",
|
||||
"kimi-k2.7-code",
|
||||
"step-5-preview-free",
|
||||
"step-5-preview",
|
||||
"gpt-5.6-luna",
|
||||
"kimi-k3.1-pro",
|
||||
"minimax-m3.1-flash-free",
|
||||
"deepseek-v4-pro",
|
||||
"hy4",
|
||||
"minimax-m3"
|
||||
],
|
||||
"scores": [
|
||||
{
|
||||
"id": "qwen3.7-plus",
|
||||
"ii": null
|
||||
},
|
||||
{
|
||||
"id": "step-5-preview-free",
|
||||
"ii": null
|
||||
},
|
||||
{
|
||||
"id": "hy4-preview",
|
||||
"ii": null
|
||||
},
|
||||
{
|
||||
"id": "cat-jam-free",
|
||||
"ii": null
|
||||
},
|
||||
{
|
||||
"id": "gemini-4-argon",
|
||||
"ii": 50.4
|
||||
},
|
||||
{
|
||||
"id": "beam-free",
|
||||
"ii": 17.7
|
||||
},
|
||||
{
|
||||
"id": "grok-4.7",
|
||||
"ii": 34.3
|
||||
},
|
||||
{
|
||||
"id": "minimax-m3.1-flash-free",
|
||||
"ii": 28.9
|
||||
},
|
||||
{
|
||||
"id": "qwen3.8-flash",
|
||||
"ii": null
|
||||
},
|
||||
{
|
||||
"id": "step-5-preview",
|
||||
"ii": 28.5
|
||||
},
|
||||
{
|
||||
"id": "kimi-k3.1-pro",
|
||||
"ii": 46
|
||||
},
|
||||
{
|
||||
"id": "kimi-k3",
|
||||
"ii": null
|
||||
},
|
||||
{
|
||||
"id": "hy3",
|
||||
"ii": null
|
||||
"id": "gpt-6-luna",
|
||||
"ii": 27.9
|
||||
},
|
||||
{
|
||||
"id": "deepseek-v4.1-flash",
|
||||
"ii": null
|
||||
},
|
||||
{
|
||||
"id": "deepseek-v4-pro",
|
||||
"ii": 23.1
|
||||
"id": "qwen3.8-flash",
|
||||
"ii": null
|
||||
},
|
||||
{
|
||||
"id": "claude-haiku-5-5",
|
||||
"ii": 36.5
|
||||
},
|
||||
{
|
||||
"id": "muse-spark-1.3-contributor",
|
||||
"ii": 36.6
|
||||
},
|
||||
{
|
||||
"id": "longcat-2.5-preview-free",
|
||||
"ii": null
|
||||
},
|
||||
{
|
||||
"id": "gemini-4-argon-contributor",
|
||||
"ii": 50.4
|
||||
},
|
||||
{
|
||||
"id": "qwen3.7-plus",
|
||||
"ii": null
|
||||
},
|
||||
{
|
||||
"id": "glm-5.3",
|
||||
"ii": 31.7
|
||||
},
|
||||
{
|
||||
"id": "mimo-v2.6-flash",
|
||||
"ii": 26.7
|
||||
},
|
||||
{
|
||||
"id": "iceman-contributor-free",
|
||||
"ii": null
|
||||
"id": "beam-free",
|
||||
"ii": 17.7
|
||||
},
|
||||
{
|
||||
"id": "gpt-5.6-luna",
|
||||
"ii": null
|
||||
},
|
||||
{
|
||||
"id": "kimi-k2.7-code",
|
||||
"id": "space-bunny",
|
||||
"ii": null
|
||||
},
|
||||
{
|
||||
@@ -125,43 +95,55 @@
|
||||
"ii": null
|
||||
},
|
||||
{
|
||||
"id": "space-bunny",
|
||||
"id": "cat-jam-free",
|
||||
"ii": null
|
||||
},
|
||||
{
|
||||
"id": "longcat-2.5-preview-free",
|
||||
"id": "hy4-preview",
|
||||
"ii": null
|
||||
},
|
||||
{
|
||||
"id": "minimax-m2.7",
|
||||
"ii": null
|
||||
},
|
||||
{
|
||||
"id": "kimi-k3",
|
||||
"ii": null
|
||||
},
|
||||
{
|
||||
"id": "glm-5.3-flash",
|
||||
"ii": 27.8
|
||||
},
|
||||
{
|
||||
"id": "iceman-contributor-free",
|
||||
"ii": null
|
||||
},
|
||||
{
|
||||
"id": "glm-5.2",
|
||||
"ii": null
|
||||
},
|
||||
{
|
||||
"id": "glm-5.3-flash",
|
||||
"ii": 27.8
|
||||
},
|
||||
{
|
||||
"id": "gpt-6-luna",
|
||||
"ii": 27.8
|
||||
},
|
||||
{
|
||||
"id": "glm-5.3",
|
||||
"ii": 31.7
|
||||
},
|
||||
{
|
||||
"id": "qwen3.8-max",
|
||||
"ii": 33.6
|
||||
},
|
||||
{
|
||||
"id": "mimo-v2.5-pro",
|
||||
"ii": null
|
||||
},
|
||||
{
|
||||
"id": "claude-haiku-5-5",
|
||||
"ii": 36.2
|
||||
"id": "qwen3.8-max",
|
||||
"ii": 33.7
|
||||
},
|
||||
{
|
||||
"id": "minimax-m2.7",
|
||||
"id": "mimo-v2.6-pro",
|
||||
"ii": 29.9
|
||||
},
|
||||
{
|
||||
"id": "gemini-4-argon",
|
||||
"ii": 50.4
|
||||
},
|
||||
{
|
||||
"id": "minimax-m3.1-flash",
|
||||
"ii": 29.1
|
||||
},
|
||||
{
|
||||
"id": "muse-spark-1.2-contributor",
|
||||
"ii": null
|
||||
},
|
||||
{
|
||||
@@ -169,148 +151,125 @@
|
||||
"ii": null
|
||||
},
|
||||
{
|
||||
"id": "minimax-m3",
|
||||
"ii": 18.7
|
||||
"id": "grok-4.7",
|
||||
"ii": 35.5
|
||||
},
|
||||
{
|
||||
"id": "mimo-v2.6-pro",
|
||||
"ii": 29.9
|
||||
},
|
||||
{
|
||||
"id": "muse-spark-1.3-contributor",
|
||||
"ii": 36.4
|
||||
},
|
||||
{
|
||||
"id": "muse-spark-1.2-contributor",
|
||||
"id": "crouton-alpha-free",
|
||||
"ii": null
|
||||
},
|
||||
{
|
||||
"id": "minimax-m3.1-flash",
|
||||
"ii": 28.9
|
||||
}
|
||||
],
|
||||
"newModels": [],
|
||||
"removedModels": [],
|
||||
"deltas": [
|
||||
"id": "hy3",
|
||||
"ii": null
|
||||
},
|
||||
{
|
||||
"id": "mimo-v2.6-pro",
|
||||
"from": 46.3,
|
||||
"to": 29.9,
|
||||
"delta": -16.4
|
||||
"id": "kimi-k2.7-code",
|
||||
"ii": null
|
||||
},
|
||||
{
|
||||
"id": "step-5-preview-free",
|
||||
"ii": null
|
||||
},
|
||||
{
|
||||
"id": "step-5-preview",
|
||||
"from": 43.7,
|
||||
"to": 28.5,
|
||||
"delta": -15.2
|
||||
"ii": 28.5
|
||||
},
|
||||
{
|
||||
"id": "glm-5.3-flash",
|
||||
"from": 41.8,
|
||||
"to": 27.8,
|
||||
"delta": -14
|
||||
},
|
||||
{
|
||||
"id": "minimax-m3.1-flash-free",
|
||||
"from": 42.7,
|
||||
"to": 28.9,
|
||||
"delta": -13.8
|
||||
},
|
||||
{
|
||||
"id": "minimax-m3.1-flash",
|
||||
"from": 42.7,
|
||||
"to": 28.9,
|
||||
"delta": -13.8
|
||||
},
|
||||
{
|
||||
"id": "glm-5.3",
|
||||
"from": 44.8,
|
||||
"to": 31.7,
|
||||
"delta": -13.1
|
||||
},
|
||||
{
|
||||
"id": "deepseek-v4-pro",
|
||||
"from": 36,
|
||||
"to": 23.1,
|
||||
"delta": -12.9
|
||||
},
|
||||
{
|
||||
"id": "beam-free",
|
||||
"from": 30.3,
|
||||
"to": 17.7,
|
||||
"delta": -12.6
|
||||
},
|
||||
{
|
||||
"id": "grok-4.7",
|
||||
"from": 46.4,
|
||||
"to": 34.3,
|
||||
"delta": -12.1
|
||||
},
|
||||
{
|
||||
"id": "qwen3.8-max",
|
||||
"from": 45.4,
|
||||
"to": 33.6,
|
||||
"delta": -11.8
|
||||
},
|
||||
{
|
||||
"id": "muse-spark-1.3-contributor",
|
||||
"from": 48.1,
|
||||
"to": 36.4,
|
||||
"delta": -11.7
|
||||
},
|
||||
{
|
||||
"id": "mimo-v2.6-flash",
|
||||
"from": 37.9,
|
||||
"to": 26.7,
|
||||
"delta": -11.2
|
||||
},
|
||||
{
|
||||
"id": "minimax-m3",
|
||||
"from": 29.2,
|
||||
"to": 18.7,
|
||||
"delta": -10.5
|
||||
},
|
||||
{
|
||||
"id": "gpt-6-luna",
|
||||
"from": 38.1,
|
||||
"to": 27.8,
|
||||
"delta": -10.3
|
||||
"id": "gpt-5.6-luna",
|
||||
"ii": 23.8
|
||||
},
|
||||
{
|
||||
"id": "kimi-k3.1-pro",
|
||||
"from": 55.1,
|
||||
"to": 46,
|
||||
"delta": -9.1
|
||||
"ii": 46.5
|
||||
},
|
||||
{
|
||||
"id": "minimax-m3.1-flash-free",
|
||||
"ii": 29.1
|
||||
},
|
||||
{
|
||||
"id": "deepseek-v4-pro",
|
||||
"ii": 23.1
|
||||
},
|
||||
{
|
||||
"id": "hy4",
|
||||
"ii": null
|
||||
},
|
||||
{
|
||||
"id": "minimax-m3",
|
||||
"ii": 18.9
|
||||
}
|
||||
],
|
||||
"newModels": [
|
||||
"crouton-alpha-free",
|
||||
"hy4"
|
||||
],
|
||||
"removedModels": [],
|
||||
"deltas": [
|
||||
{
|
||||
"id": "grok-4.7",
|
||||
"from": 34.3,
|
||||
"to": 35.5,
|
||||
"delta": 1.2
|
||||
},
|
||||
{
|
||||
"id": "kimi-k3.1-pro",
|
||||
"from": 46,
|
||||
"to": 46.5,
|
||||
"delta": 0.5
|
||||
},
|
||||
{
|
||||
"id": "claude-haiku-5-5",
|
||||
"from": 43.4,
|
||||
"to": 36.2,
|
||||
"delta": -7.2
|
||||
"from": 36.2,
|
||||
"to": 36.5,
|
||||
"delta": 0.3
|
||||
},
|
||||
{
|
||||
"id": "gemini-4-argon",
|
||||
"from": 52.6,
|
||||
"to": 50.4,
|
||||
"delta": -2.2
|
||||
"id": "muse-spark-1.3-contributor",
|
||||
"from": 36.4,
|
||||
"to": 36.6,
|
||||
"delta": 0.2
|
||||
},
|
||||
{
|
||||
"id": "gemini-4-argon-contributor",
|
||||
"from": 52.6,
|
||||
"to": 50.4,
|
||||
"delta": -2.2
|
||||
"id": "minimax-m3.1-flash",
|
||||
"from": 28.9,
|
||||
"to": 29.1,
|
||||
"delta": 0.2
|
||||
},
|
||||
{
|
||||
"id": "minimax-m3.1-flash-free",
|
||||
"from": 28.9,
|
||||
"to": 29.1,
|
||||
"delta": 0.2
|
||||
},
|
||||
{
|
||||
"id": "minimax-m3",
|
||||
"from": 18.7,
|
||||
"to": 18.9,
|
||||
"delta": 0.2
|
||||
},
|
||||
{
|
||||
"id": "gpt-6-luna",
|
||||
"from": 27.8,
|
||||
"to": 27.9,
|
||||
"delta": 0.1
|
||||
},
|
||||
{
|
||||
"id": "qwen3.8-max",
|
||||
"from": 33.6,
|
||||
"to": 33.7,
|
||||
"delta": 0.1
|
||||
}
|
||||
],
|
||||
"liveCatalogSize": 28,
|
||||
"liveCatalogSize": 30,
|
||||
"notInLiveCatalog": [
|
||||
"step-5-preview-free",
|
||||
"cat-jam-free",
|
||||
"minimax-m3.1-flash-free",
|
||||
"gemini-4-argon-contributor",
|
||||
"mimo-v2.5",
|
||||
"space-bunny",
|
||||
"longcat-2.5-preview-free",
|
||||
"gemini-4-argon-contributor",
|
||||
"space-bunny",
|
||||
"mimo-v2.5",
|
||||
"cat-jam-free",
|
||||
"minimax-m2.7",
|
||||
"mimo-v2.5-pro",
|
||||
"minimax-m2.7"
|
||||
"step-5-preview-free",
|
||||
"minimax-m3.1-flash-free"
|
||||
]
|
||||
}
|
||||
|
||||
Reference in New Issue
Block a user