Automate the evaluation on a weekly schedule
Deploy to Cloudflare Pages / deploy (push) Successful in 30s
Deploy to Cloudflare Pages / deploy (push) Successful in 30s
- scripts/sync-catalog.mjs: rebuilds the Go catalogue from models.dev and benchmark scores from Artificial Analysis, and records what changed in snapshot.json - scripts/build-models-md.mjs: regenerates MODELS.md from the data layers - scripts/notify-new-models.mjs: files an issue when a new model needs a write-up - weekly-eval.yml: cron every Monday 05:23 UTC -> refresh -> commit -> Pages deploy - site now renders every model in the catalogue (33) with a data-snapshot stamp; auto-added models are flagged 'no write-up' until described - replaced scripts/refresh-evals.mjs with the wider sync script
This commit is contained in:
+926
-25
@@ -1,27 +1,928 @@
|
||||
// Evaluation data scraped from Artificial Analysis model pages (single consistent harness).
|
||||
// Values are already scaled to 0-100. Regenerate with: node scripts/refresh-evals.mjs
|
||||
// AUTO-GENERATED by scripts/sync-catalog.mjs — do not edit by hand.
|
||||
// Benchmark scores from Artificial Analysis (single consistent harness), scaled to 0-100.
|
||||
export const RAW = [
|
||||
{"id":"minimax-m3.1-flash-free","n":"MiniMax M3.1 Flash Free","lab":"MiniMax","free":true,"pi":0,"po":0,"ii":42.7,"fc":38.6,"scicode":53.4,"tb21":null,"tb40":25.8,"tbh":null,"tau2":null,"taub":null,"apex":null,"analyst":null,"auto":72.5,"gpqa":null,"critpt":22.3,"hle":48,"lcr":79.7,"ifbench":null,"mmmu":79.1,"gdpv":47.9,"gdppdf":20.8,"ctx":1000000},
|
||||
{"id":"gemini-4-argon-contributor","n":"Gemini 4 Argon Contributor","lab":"Google","free":false,"pi":4,"po":20,"ii":52.6,"fc":43.5,"scicode":61.8,"tb21":null,"tb40":57.1,"tbh":null,"tau2":null,"taub":null,"apex":null,"analyst":48.8,"auto":77.5,"gpqa":null,"critpt":27.1,"hle":57.1,"lcr":79.7,"ifbench":null,"mmmu":null,"gdpv":56.2,"gdppdf":21.8,"ctx":1048576},
|
||||
{"id":"claude-haiku-5-5","n":"Claude Haiku 5.5","lab":"Anthropic","free":false,"pi":0.1,"po":0.5,"ii":43.4,"fc":41.8,"scicode":55,"tb21":null,"tb40":32.8,"tbh":null,"tau2":null,"taub":null,"apex":null,"analyst":53.8,"auto":35.4,"gpqa":null,"critpt":18.9,"hle":44.4,"lcr":82.7,"ifbench":null,"mmmu":null,"gdpv":55.9,"gdppdf":20.8,"ctx":1000000},
|
||||
{"id":"beam-free","n":"Beam Free","lab":"Reflection AI","free":true,"pi":0,"po":0,"ii":30.3,"fc":null,"scicode":48.5,"tb21":null,"tb40":3,"tbh":null,"tau2":null,"taub":null,"apex":null,"analyst":null,"auto":48.5,"gpqa":null,"critpt":13.1,"hle":34.7,"lcr":78,"ifbench":null,"mmmu":null,"gdpv":33.9,"gdppdf":11.6,"ctx":1048576},
|
||||
{"id":"longcat-2.5-preview-free","n":"LongCat 2.5 Preview Free","lab":"Meituan","free":true,"pi":0,"po":0,"ii":null,"fc":null,"scicode":null,"tb21":null,"tb40":null,"tbh":null,"tau2":null,"taub":null,"apex":null,"analyst":null,"auto":null,"gpqa":null,"critpt":null,"hle":null,"lcr":null,"ifbench":null,"mmmu":null,"gdpv":null,"gdppdf":null,"ctx":1000000},
|
||||
{"id":"mimo-v2.6-pro","n":"MiMo-V2.6-Pro","lab":"Xiaomi","free":false,"pi":0.435,"po":0.87,"ii":46.3,"fc":45.4,"scicode":60.9,"tb21":null,"tb40":34.8,"tbh":null,"tau2":null,"taub":null,"apex":null,"analyst":37.5,"auto":58.6,"gpqa":null,"critpt":26.6,"hle":49.4,"lcr":86.3,"ifbench":null,"mmmu":null,"gdpv":59.2,"gdppdf":19.2,"ctx":1048576},
|
||||
{"id":"gpt-6-luna","n":"GPT-6 Luna","lab":"OpenAI","free":false,"pi":0.1,"po":0.5,"ii":38.1,"fc":41.9,"scicode":54.6,"tb21":null,"tb40":12.6,"tbh":null,"tau2":null,"taub":null,"apex":null,"analyst":43.8,"auto":53.2,"gpqa":null,"critpt":19.4,"hle":38.5,"lcr":83.3,"ifbench":null,"mmmu":79.7,"gdpv":46.6,"gdppdf":22.8,"ctx":1050000},
|
||||
{"id":"grok-4.7","n":"Grok 4.7","lab":"xAI","free":false,"pi":2,"po":6,"ii":46.4,"fc":33.8,"scicode":57.4,"tb21":null,"tb40":25.8,"tbh":null,"tau2":null,"taub":null,"apex":null,"analyst":52.5,"auto":65.6,"gpqa":null,"critpt":17.7,"hle":43.1,"lcr":76.7,"ifbench":null,"mmmu":null,"gdpv":60.6,"gdppdf":20,"ctx":500000},
|
||||
{"id":"step-5-preview","n":"Step 5 Preview","lab":"StepFun","free":false,"pi":1,"po":2.7,"ii":43.7,"fc":38.4,"scicode":58.9,"tb21":null,"tb40":33.3,"tbh":null,"tau2":null,"taub":null,"apex":38,"analyst":35,"auto":51,"gpqa":null,"critpt":20.9,"hle":46.5,"lcr":88.3,"ifbench":null,"mmmu":76.4,"gdpv":54.3,"gdppdf":14.8,"ctx":1000000},
|
||||
{"id":"deepseek-v4.1-flash","n":"DeepSeek V4.1 Flash","lab":"DeepSeek","free":false,"pi":0.15,"po":0.6,"ii":39.5,"fc":44,"scicode":51.9,"tb21":null,"tb40":26.8,"tbh":null,"tau2":null,"taub":null,"apex":null,"analyst":35,"auto":68.9,"gpqa":null,"critpt":14.3,"hle":39.2,"lcr":84,"ifbench":null,"mmmu":77,"gdpv":55,"gdppdf":12.8,"ctx":1000000},
|
||||
{"id":"muse-spark-1.3-contributor","n":"Muse Spark 1.3 Contributor","lab":"Meta","free":false,"pi":0.1,"po":0.2,"ii":48.1,"fc":40.6,"scicode":58.8,"tb21":84.3,"tb40":33.3,"tbh":null,"tau2":null,"taub":50.5,"apex":null,"analyst":37.5,"auto":57.9,"gpqa":93.5,"critpt":24.9,"hle":48.7,"lcr":83,"ifbench":null,"mmmu":null,"gdpv":59,"gdppdf":26.6,"ctx":1048576},
|
||||
{"id":"hy4-preview","n":"Hy4 preview","lab":"Tencent","free":false,"pi":0.834,"po":2.501,"ii":null,"fc":null,"scicode":null,"tb21":null,"tb40":null,"tbh":null,"tau2":null,"taub":null,"apex":null,"analyst":null,"auto":null,"gpqa":null,"critpt":null,"hle":null,"lcr":null,"ifbench":null,"mmmu":null,"gdpv":null,"gdppdf":null,"ctx":1024000},
|
||||
{"id":"qwen3.8-flash","n":"Qwen3.8 Flash","lab":"Alibaba","free":false,"pi":0.15,"po":0.47,"ii":39.8,"fc":null,"scicode":50.6,"tb21":86.1,"tb40":25.3,"tbh":null,"tau2":null,"taub":45.4,"apex":null,"analyst":null,"auto":55.9,"gpqa":92.3,"critpt":11.1,"hle":38,"lcr":79.7,"ifbench":null,"mmmu":79.8,"gdpv":56.4,"gdppdf":15.6,"ctx":1000000},
|
||||
{"id":"glm-5.3-flash","n":"GLM-5.3-Flash","lab":"Zhipu","free":false,"pi":0.15,"po":0.5,"ii":41.8,"fc":41,"scicode":51.6,"tb21":84.3,"tb40":32.8,"tbh":null,"tau2":null,"taub":47.2,"apex":null,"analyst":25,"auto":60.4,"gpqa":91.2,"critpt":15.4,"hle":39.9,"lcr":80,"ifbench":null,"mmmu":null,"gdpv":57.1,"gdppdf":15.4,"ctx":1000000},
|
||||
{"id":"glm-5.3","n":"GLM-5.3","lab":"Zhipu","free":false,"pi":1.4,"po":4.4,"ii":44.8,"fc":40.1,"scicode":59,"tb21":83.9,"tb40":41.9,"tbh":null,"tau2":null,"taub":50.3,"apex":null,"analyst":38.8,"auto":62.2,"gpqa":91.7,"critpt":19.1,"hle":42.3,"lcr":79.7,"ifbench":null,"mmmu":null,"gdpv":57.5,"gdppdf":11.2,"ctx":1000000},
|
||||
{"id":"qwen3.8-max","n":"Qwen3.8 Max","lab":"Alibaba","free":false,"pi":2,"po":6,"ii":45.4,"fc":43.2,"scicode":52.1,"tb21":88.8,"tb40":38.9,"tbh":null,"tau2":null,"taub":47.8,"apex":42.4,"analyst":45,"auto":56.2,"gpqa":92.8,"critpt":17.7,"hle":43.1,"lcr":80.3,"ifbench":null,"mmmu":82.8,"gdpv":58.2,"gdppdf":22.8,"ctx":1000000},
|
||||
{"id":"kimi-k3","n":"Kimi K3","lab":"Moonshot","free":false,"pi":3,"po":15,"ii":43.6,"fc":43.6,"scicode":59.5,"tb21":85,"tb40":12.6,"tbh":null,"tau2":null,"taub":46,"apex":41.3,"analyst":38.8,"auto":58.3,"gpqa":93.5,"critpt":23.4,"hle":46.9,"lcr":88.7,"ifbench":null,"mmmu":80.5,"gdpv":51.6,"gdppdf":22,"ctx":1048576},
|
||||
{"id":"kimi-k2.7-code","n":"Kimi K2.7 Code","lab":"Moonshot","free":false,"pi":0.95,"po":4,"ii":25.8,"fc":null,"scicode":47.8,"tb21":67.4,"tb40":1,"tbh":44.7,"tau2":90.1,"taub":20.2,"apex":null,"analyst":null,"auto":24.5,"gpqa":89.6,"critpt":10,"hle":35,"lcr":79.3,"ifbench":63.1,"mmmu":null,"gdpv":26.9,"gdppdf":11.2,"ctx":262144},
|
||||
{"id":"qwen3.7-plus","n":"Qwen3.7 Plus","lab":"Alibaba","free":false,"pi":0.4,"po":1.6,"ii":25.2,"fc":null,"scicode":46.1,"tb21":61,"tb40":1,"tbh":47,"tau2":93,"taub":17.5,"apex":22.4,"analyst":null,"auto":17.4,"gpqa":90,"critpt":9.1,"hle":35.6,"lcr":73,"ifbench":78,"mmmu":80.5,"gdpv":13.4,"gdppdf":12.2,"ctx":1000000},
|
||||
{"id":"minimax-m3","n":"MiniMax M3","lab":"MiniMax","free":false,"pi":0.3,"po":1.2,"ii":29.2,"fc":23,"scicode":47.1,"tb21":65.2,"tb40":2,"tbh":42.4,"tau2":88.9,"taub":15.3,"apex":null,"analyst":10,"auto":21.3,"gpqa":92.9,"critpt":3.7,"hle":39,"lcr":83,"ifbench":82.9,"mmmu":78.6,"gdpv":37.1,"gdppdf":9.8,"ctx":1048576},
|
||||
{"id":"deepseek-v4-pro","n":"DeepSeek V4 Pro","lab":"DeepSeek","free":false,"pi":0.66,"po":1.98,"ii":36,"fc":38.8,"scicode":51,"tb21":78.7,"tb40":14.1,"tbh":null,"tau2":null,"taub":39.6,"apex":null,"analyst":null,"auto":56.7,"gpqa":92.8,"critpt":18,"hle":41,"lcr":80.3,"ifbench":null,"mmmu":null,"gdpv":47.4,"gdppdf":11.4,"ctx":1000000},
|
||||
{"id":"mimo-v2.5-pro","n":"MiMo-V2.5-Pro","lab":"Xiaomi","free":false,"pi":0.435,"po":0.87,"ii":26,"fc":null,"scicode":50.6,"tb21":65.2,"tb40":0,"tbh":43.2,"tau2":94.2,"taub":9.9,"apex":2.4,"analyst":20,"auto":13.7,"gpqa":86.6,"critpt":4,"hle":35.7,"lcr":79.7,"ifbench":79.9,"mmmu":null,"gdpv":31,"gdppdf":4,"ctx":1048576},
|
||||
{"id":"mimo-v2.5","n":"MiMo-V2.5","lab":"Xiaomi","free":false,"pi":0.14,"po":0.28,"ii":21.8,"fc":null,"scicode":43.9,"tb21":63.7,"tb40":0,"tbh":41.7,"tau2":90.6,"taub":8.7,"apex":null,"analyst":null,"auto":18.4,"gpqa":84.9,"critpt":3.7,"hle":27.2,"lcr":73,"ifbench":67.1,"mmmu":75.4,"gdpv":24.9,"gdppdf":4,"ctx":1048576}
|
||||
{
|
||||
"id": "mimo-v2.5-pro",
|
||||
"n": "MiMo V2.5 Pro",
|
||||
"lab": "xiaomi",
|
||||
"free": false,
|
||||
"pi": 0.435,
|
||||
"po": 0.87,
|
||||
"ii": 26,
|
||||
"fc": null,
|
||||
"scicode": 50.6,
|
||||
"tb21": 65.2,
|
||||
"tb40": 0,
|
||||
"tbh": 43.2,
|
||||
"tau2": 94.2,
|
||||
"taub": 9.9,
|
||||
"apex": 2.4,
|
||||
"analyst": 20,
|
||||
"auto": 13.7,
|
||||
"gpqa": 86.6,
|
||||
"critpt": 4,
|
||||
"hle": 35.7,
|
||||
"lcr": 79.7,
|
||||
"ifbench": 79.9,
|
||||
"mmmu": null,
|
||||
"gdpv": 31,
|
||||
"gdppdf": 4,
|
||||
"ctx": 1048576
|
||||
},
|
||||
{
|
||||
"id": "step-5-preview",
|
||||
"n": "Step 5 Preview",
|
||||
"lab": "stepfun",
|
||||
"free": false,
|
||||
"pi": 1,
|
||||
"po": 2.7,
|
||||
"ii": 43.7,
|
||||
"fc": 38.4,
|
||||
"scicode": 58.9,
|
||||
"tb21": null,
|
||||
"tb40": 33.3,
|
||||
"tbh": null,
|
||||
"tau2": null,
|
||||
"taub": null,
|
||||
"apex": 38,
|
||||
"analyst": 35,
|
||||
"auto": 51,
|
||||
"gpqa": null,
|
||||
"critpt": 20.9,
|
||||
"hle": 46.5,
|
||||
"lcr": 88.3,
|
||||
"ifbench": null,
|
||||
"mmmu": 76.4,
|
||||
"gdpv": 54.3,
|
||||
"gdppdf": 14.8,
|
||||
"ctx": 1000000
|
||||
},
|
||||
{
|
||||
"id": "muse-spark-1.3-contributor",
|
||||
"n": "Muse Spark 1.3 Contributor",
|
||||
"lab": "meta",
|
||||
"free": false,
|
||||
"pi": 0.1,
|
||||
"po": 0.2,
|
||||
"ii": 48.1,
|
||||
"fc": 40.6,
|
||||
"scicode": 58.8,
|
||||
"tb21": 84.3,
|
||||
"tb40": 33.3,
|
||||
"tbh": null,
|
||||
"tau2": null,
|
||||
"taub": 50.5,
|
||||
"apex": null,
|
||||
"analyst": 37.5,
|
||||
"auto": 57.9,
|
||||
"gpqa": 93.5,
|
||||
"critpt": 24.9,
|
||||
"hle": 48.7,
|
||||
"lcr": 83,
|
||||
"ifbench": null,
|
||||
"mmmu": null,
|
||||
"gdpv": 59,
|
||||
"gdppdf": 26.6,
|
||||
"ctx": 1048576
|
||||
},
|
||||
{
|
||||
"id": "qwen3.8-flash",
|
||||
"n": "Qwen3.8 Flash",
|
||||
"lab": "alibaba",
|
||||
"free": false,
|
||||
"pi": 0.15,
|
||||
"po": 0.47,
|
||||
"ii": 39.8,
|
||||
"fc": null,
|
||||
"scicode": 50.6,
|
||||
"tb21": 86.1,
|
||||
"tb40": 25.3,
|
||||
"tbh": null,
|
||||
"tau2": null,
|
||||
"taub": 45.4,
|
||||
"apex": null,
|
||||
"analyst": null,
|
||||
"auto": 55.9,
|
||||
"gpqa": 92.3,
|
||||
"critpt": 11.1,
|
||||
"hle": 38,
|
||||
"lcr": 79.7,
|
||||
"ifbench": null,
|
||||
"mmmu": 79.8,
|
||||
"gdpv": 56.4,
|
||||
"gdppdf": 15.6,
|
||||
"ctx": 1000000
|
||||
},
|
||||
{
|
||||
"id": "kimi-k3",
|
||||
"n": "Kimi K3",
|
||||
"lab": "moonshotai",
|
||||
"free": false,
|
||||
"pi": 3,
|
||||
"po": 15,
|
||||
"ii": 43.6,
|
||||
"fc": 43.6,
|
||||
"scicode": 59.5,
|
||||
"tb21": 85,
|
||||
"tb40": 12.6,
|
||||
"tbh": null,
|
||||
"tau2": null,
|
||||
"taub": 46,
|
||||
"apex": 41.3,
|
||||
"analyst": 38.8,
|
||||
"auto": 58.3,
|
||||
"gpqa": 93.5,
|
||||
"critpt": 23.4,
|
||||
"hle": 46.9,
|
||||
"lcr": 88.7,
|
||||
"ifbench": null,
|
||||
"mmmu": 80.5,
|
||||
"gdpv": 51.6,
|
||||
"gdppdf": 22,
|
||||
"ctx": 1048576
|
||||
},
|
||||
{
|
||||
"id": "deepseek-v4.1-flash",
|
||||
"n": "DeepSeek V4.1 Flash",
|
||||
"lab": "deepseek",
|
||||
"free": false,
|
||||
"pi": 0.15,
|
||||
"po": 0.6,
|
||||
"ii": 39.5,
|
||||
"fc": 44,
|
||||
"scicode": 51.9,
|
||||
"tb21": null,
|
||||
"tb40": 26.8,
|
||||
"tbh": null,
|
||||
"tau2": null,
|
||||
"taub": null,
|
||||
"apex": null,
|
||||
"analyst": 35,
|
||||
"auto": 68.9,
|
||||
"gpqa": null,
|
||||
"critpt": 14.3,
|
||||
"hle": 39.2,
|
||||
"lcr": 84,
|
||||
"ifbench": null,
|
||||
"mmmu": 77,
|
||||
"gdpv": 55,
|
||||
"gdppdf": 12.8,
|
||||
"ctx": 1000000
|
||||
},
|
||||
{
|
||||
"id": "minimax-m2.7",
|
||||
"n": "MiniMax-M2.7",
|
||||
"lab": "minimax",
|
||||
"free": false,
|
||||
"pi": 0.3,
|
||||
"po": 1.2,
|
||||
"ii": 22.8,
|
||||
"fc": null,
|
||||
"scicode": 50.1,
|
||||
"tb21": 55.4,
|
||||
"tb40": 0,
|
||||
"tbh": 39.4,
|
||||
"tau2": 84.8,
|
||||
"taub": 9.9,
|
||||
"apex": 10.6,
|
||||
"analyst": 11.3,
|
||||
"auto": 4.4,
|
||||
"gpqa": 87.4,
|
||||
"critpt": 0.6,
|
||||
"hle": 29.6,
|
||||
"lcr": 78.3,
|
||||
"ifbench": 75.7,
|
||||
"mmmu": null,
|
||||
"gdpv": 25.5,
|
||||
"gdppdf": 6,
|
||||
"ctx": 204800
|
||||
},
|
||||
{
|
||||
"id": "minimax-m3.1-flash-free",
|
||||
"n": "MiniMax M3.1 Flash Free",
|
||||
"lab": "minimax",
|
||||
"free": true,
|
||||
"pi": 0,
|
||||
"po": 0,
|
||||
"ii": 42.7,
|
||||
"fc": 38.6,
|
||||
"scicode": 53.4,
|
||||
"tb21": null,
|
||||
"tb40": 25.8,
|
||||
"tbh": null,
|
||||
"tau2": null,
|
||||
"taub": null,
|
||||
"apex": null,
|
||||
"analyst": null,
|
||||
"auto": 72.5,
|
||||
"gpqa": null,
|
||||
"critpt": 22.3,
|
||||
"hle": 48,
|
||||
"lcr": 79.7,
|
||||
"ifbench": null,
|
||||
"mmmu": 79.1,
|
||||
"gdpv": 47.9,
|
||||
"gdppdf": 20.8,
|
||||
"ctx": 1000000
|
||||
},
|
||||
{
|
||||
"id": "gemini-4-argon-contributor",
|
||||
"n": "Gemini 4 Argon Contributor",
|
||||
"lab": "google",
|
||||
"free": false,
|
||||
"pi": 4,
|
||||
"po": 20,
|
||||
"ii": 52.6,
|
||||
"fc": 43.5,
|
||||
"scicode": 61.8,
|
||||
"tb21": null,
|
||||
"tb40": 57.1,
|
||||
"tbh": null,
|
||||
"tau2": null,
|
||||
"taub": null,
|
||||
"apex": null,
|
||||
"analyst": 48.8,
|
||||
"auto": 77.5,
|
||||
"gpqa": null,
|
||||
"critpt": 27.1,
|
||||
"hle": 57.1,
|
||||
"lcr": 79.7,
|
||||
"ifbench": null,
|
||||
"mmmu": null,
|
||||
"gdpv": 56.2,
|
||||
"gdppdf": 21.8,
|
||||
"ctx": 1048576
|
||||
},
|
||||
{
|
||||
"id": "qwen3.7-plus",
|
||||
"n": "Qwen3.7 Plus",
|
||||
"lab": "alibaba",
|
||||
"free": false,
|
||||
"pi": 0.4,
|
||||
"po": 1.6,
|
||||
"ii": 25.2,
|
||||
"fc": null,
|
||||
"scicode": 46.1,
|
||||
"tb21": 61,
|
||||
"tb40": 1,
|
||||
"tbh": 47,
|
||||
"tau2": 93,
|
||||
"taub": 17.5,
|
||||
"apex": 22.4,
|
||||
"analyst": null,
|
||||
"auto": 17.4,
|
||||
"gpqa": 90,
|
||||
"critpt": 9.1,
|
||||
"hle": 35.6,
|
||||
"lcr": 73,
|
||||
"ifbench": 78,
|
||||
"mmmu": 80.5,
|
||||
"gdpv": 13.4,
|
||||
"gdppdf": 12.2,
|
||||
"ctx": 1000000
|
||||
},
|
||||
{
|
||||
"id": "longcat-2.5-preview-free",
|
||||
"n": "LongCat 2.5 Preview Free",
|
||||
"lab": "meituan",
|
||||
"free": true,
|
||||
"pi": 0,
|
||||
"po": 0,
|
||||
"ii": null,
|
||||
"fc": null,
|
||||
"scicode": null,
|
||||
"tb21": null,
|
||||
"tb40": null,
|
||||
"tbh": null,
|
||||
"tau2": null,
|
||||
"taub": null,
|
||||
"apex": null,
|
||||
"analyst": null,
|
||||
"auto": null,
|
||||
"gpqa": null,
|
||||
"critpt": null,
|
||||
"hle": null,
|
||||
"lcr": null,
|
||||
"ifbench": null,
|
||||
"mmmu": null,
|
||||
"gdpv": null,
|
||||
"gdppdf": null,
|
||||
"ctx": 1000000
|
||||
},
|
||||
{
|
||||
"id": "mimo-v2.6-pro",
|
||||
"n": "MiMo-V2.6-Pro",
|
||||
"lab": "xiaomi",
|
||||
"free": false,
|
||||
"pi": 0.435,
|
||||
"po": 0.87,
|
||||
"ii": 46.3,
|
||||
"fc": 45.4,
|
||||
"scicode": 60.9,
|
||||
"tb21": null,
|
||||
"tb40": 34.8,
|
||||
"tbh": null,
|
||||
"tau2": null,
|
||||
"taub": null,
|
||||
"apex": null,
|
||||
"analyst": 37.5,
|
||||
"auto": 58.6,
|
||||
"gpqa": null,
|
||||
"critpt": 26.6,
|
||||
"hle": 49.4,
|
||||
"lcr": 86.3,
|
||||
"ifbench": null,
|
||||
"mmmu": null,
|
||||
"gdpv": 59.2,
|
||||
"gdppdf": 19.2,
|
||||
"ctx": 1048576
|
||||
},
|
||||
{
|
||||
"id": "kimi-k2.7-code",
|
||||
"n": "Kimi K2.7 Code",
|
||||
"lab": "moonshotai",
|
||||
"free": false,
|
||||
"pi": 0.95,
|
||||
"po": 4,
|
||||
"ii": 25.8,
|
||||
"fc": null,
|
||||
"scicode": 47.8,
|
||||
"tb21": 67.4,
|
||||
"tb40": 1,
|
||||
"tbh": 44.7,
|
||||
"tau2": 90.1,
|
||||
"taub": 20.2,
|
||||
"apex": null,
|
||||
"analyst": null,
|
||||
"auto": 24.5,
|
||||
"gpqa": 89.6,
|
||||
"critpt": 10,
|
||||
"hle": 35,
|
||||
"lcr": 79.3,
|
||||
"ifbench": 63.1,
|
||||
"mmmu": null,
|
||||
"gdpv": 26.9,
|
||||
"gdppdf": 11.2,
|
||||
"ctx": 262144
|
||||
},
|
||||
{
|
||||
"id": "longcat-2.0",
|
||||
"n": "LongCat-2.0",
|
||||
"lab": "meituan",
|
||||
"free": false,
|
||||
"pi": 0.3,
|
||||
"po": 1.2,
|
||||
"ii": 19.1,
|
||||
"fc": null,
|
||||
"scicode": 36.3,
|
||||
"tb21": 50.2,
|
||||
"tb40": 0,
|
||||
"tbh": null,
|
||||
"tau2": null,
|
||||
"taub": 13.2,
|
||||
"apex": null,
|
||||
"analyst": null,
|
||||
"auto": 4.5,
|
||||
"gpqa": 78,
|
||||
"critpt": 2.6,
|
||||
"hle": 33.7,
|
||||
"lcr": 65,
|
||||
"ifbench": null,
|
||||
"mmmu": null,
|
||||
"gdpv": 18.5,
|
||||
"gdppdf": 6.4,
|
||||
"ctx": 1000000
|
||||
},
|
||||
{
|
||||
"id": "glm-5.2",
|
||||
"n": "GLM-5.2",
|
||||
"lab": "zhipuai",
|
||||
"free": false,
|
||||
"pi": 1.4,
|
||||
"po": 4.4,
|
||||
"ii": 33.7,
|
||||
"fc": null,
|
||||
"scicode": 51.2,
|
||||
"tb21": 77.9,
|
||||
"tb40": 1,
|
||||
"tbh": 50.8,
|
||||
"tau2": 99.1,
|
||||
"taub": 34.6,
|
||||
"apex": 33.7,
|
||||
"analyst": null,
|
||||
"auto": 28.4,
|
||||
"gpqa": 89.5,
|
||||
"critpt": 20.9,
|
||||
"hle": 41.1,
|
||||
"lcr": 78.3,
|
||||
"ifbench": 73.3,
|
||||
"mmmu": null,
|
||||
"gdpv": 43.6,
|
||||
"gdppdf": 10.4,
|
||||
"ctx": 1000000
|
||||
},
|
||||
{
|
||||
"id": "minimax-m3",
|
||||
"n": "MiniMax-M3",
|
||||
"lab": "minimax",
|
||||
"free": false,
|
||||
"pi": 0.3,
|
||||
"po": 1.2,
|
||||
"ii": 29.2,
|
||||
"fc": 23,
|
||||
"scicode": 47.1,
|
||||
"tb21": 65.2,
|
||||
"tb40": 2,
|
||||
"tbh": 42.4,
|
||||
"tau2": 88.9,
|
||||
"taub": 15.3,
|
||||
"apex": null,
|
||||
"analyst": 10,
|
||||
"auto": 21.3,
|
||||
"gpqa": 92.9,
|
||||
"critpt": 3.7,
|
||||
"hle": 39,
|
||||
"lcr": 83,
|
||||
"ifbench": 82.9,
|
||||
"mmmu": 78.6,
|
||||
"gdpv": 37.1,
|
||||
"gdppdf": 9.8,
|
||||
"ctx": 1000000
|
||||
},
|
||||
{
|
||||
"id": "mimo-v2.6-flash",
|
||||
"n": "MiMo-V2.6-Flash",
|
||||
"lab": "xiaomi",
|
||||
"free": false,
|
||||
"pi": 0.14,
|
||||
"po": 0.28,
|
||||
"ii": 37.9,
|
||||
"fc": 42.1,
|
||||
"scicode": 51.3,
|
||||
"tb21": null,
|
||||
"tb40": 22.7,
|
||||
"tbh": null,
|
||||
"tau2": null,
|
||||
"taub": null,
|
||||
"apex": null,
|
||||
"analyst": null,
|
||||
"auto": 64.1,
|
||||
"gpqa": null,
|
||||
"critpt": 12,
|
||||
"hle": 35.1,
|
||||
"lcr": 74.3,
|
||||
"ifbench": null,
|
||||
"mmmu": 73.1,
|
||||
"gdpv": 55.4,
|
||||
"gdppdf": 9,
|
||||
"ctx": 1048576
|
||||
},
|
||||
{
|
||||
"id": "step-5-preview-free",
|
||||
"n": "Step 5 Preview Free",
|
||||
"lab": "stepfun",
|
||||
"free": true,
|
||||
"pi": 0,
|
||||
"po": 0,
|
||||
"ii": null,
|
||||
"fc": null,
|
||||
"scicode": null,
|
||||
"tb21": null,
|
||||
"tb40": null,
|
||||
"tbh": null,
|
||||
"tau2": null,
|
||||
"taub": null,
|
||||
"apex": null,
|
||||
"analyst": null,
|
||||
"auto": null,
|
||||
"gpqa": null,
|
||||
"critpt": null,
|
||||
"hle": null,
|
||||
"lcr": null,
|
||||
"ifbench": null,
|
||||
"mmmu": null,
|
||||
"gdpv": null,
|
||||
"gdppdf": null,
|
||||
"ctx": 1000000
|
||||
},
|
||||
{
|
||||
"id": "hy4-preview",
|
||||
"n": "Hy4 preview",
|
||||
"lab": "tencent",
|
||||
"free": false,
|
||||
"pi": 0.834,
|
||||
"po": 2.501,
|
||||
"ii": null,
|
||||
"fc": null,
|
||||
"scicode": null,
|
||||
"tb21": null,
|
||||
"tb40": null,
|
||||
"tbh": null,
|
||||
"tau2": null,
|
||||
"taub": null,
|
||||
"apex": null,
|
||||
"analyst": null,
|
||||
"auto": null,
|
||||
"gpqa": null,
|
||||
"critpt": null,
|
||||
"hle": null,
|
||||
"lcr": null,
|
||||
"ifbench": null,
|
||||
"mmmu": null,
|
||||
"gdpv": null,
|
||||
"gdppdf": null,
|
||||
"ctx": 1024000
|
||||
},
|
||||
{
|
||||
"id": "beam-free",
|
||||
"n": "Beam Free",
|
||||
"lab": "reflection",
|
||||
"free": true,
|
||||
"pi": 0,
|
||||
"po": 0,
|
||||
"ii": 30.3,
|
||||
"fc": null,
|
||||
"scicode": 48.5,
|
||||
"tb21": null,
|
||||
"tb40": 3,
|
||||
"tbh": null,
|
||||
"tau2": null,
|
||||
"taub": null,
|
||||
"apex": null,
|
||||
"analyst": null,
|
||||
"auto": 48.5,
|
||||
"gpqa": null,
|
||||
"critpt": 13.1,
|
||||
"hle": 34.7,
|
||||
"lcr": 78,
|
||||
"ifbench": null,
|
||||
"mmmu": null,
|
||||
"gdpv": 33.9,
|
||||
"gdppdf": 11.6,
|
||||
"ctx": 1048576
|
||||
},
|
||||
{
|
||||
"id": "cat-jam-free",
|
||||
"n": "Cat Jam Free",
|
||||
"lab": "",
|
||||
"free": true,
|
||||
"pi": 0,
|
||||
"po": 0,
|
||||
"ii": null,
|
||||
"fc": null,
|
||||
"scicode": null,
|
||||
"tb21": null,
|
||||
"tb40": null,
|
||||
"tbh": null,
|
||||
"tau2": null,
|
||||
"taub": null,
|
||||
"apex": null,
|
||||
"analyst": null,
|
||||
"auto": null,
|
||||
"gpqa": null,
|
||||
"critpt": null,
|
||||
"hle": null,
|
||||
"lcr": null,
|
||||
"ifbench": null,
|
||||
"mmmu": null,
|
||||
"gdpv": null,
|
||||
"gdppdf": null,
|
||||
"ctx": 1048576
|
||||
},
|
||||
{
|
||||
"id": "claude-haiku-5-5",
|
||||
"n": "Claude Haiku 5.5",
|
||||
"lab": "anthropic",
|
||||
"free": false,
|
||||
"pi": 0.1,
|
||||
"po": 0.5,
|
||||
"ii": 43.4,
|
||||
"fc": 41.8,
|
||||
"scicode": 55,
|
||||
"tb21": null,
|
||||
"tb40": 32.8,
|
||||
"tbh": null,
|
||||
"tau2": null,
|
||||
"taub": null,
|
||||
"apex": null,
|
||||
"analyst": 53.8,
|
||||
"auto": 35.4,
|
||||
"gpqa": null,
|
||||
"critpt": 18.9,
|
||||
"hle": 44.4,
|
||||
"lcr": 82.7,
|
||||
"ifbench": null,
|
||||
"mmmu": null,
|
||||
"gdpv": 55.9,
|
||||
"gdppdf": 20.8,
|
||||
"ctx": 1000000
|
||||
},
|
||||
{
|
||||
"id": "grok-4.7",
|
||||
"n": "Grok 4.7",
|
||||
"lab": "xai",
|
||||
"free": false,
|
||||
"pi": 2,
|
||||
"po": 6,
|
||||
"ii": 46.4,
|
||||
"fc": 33.8,
|
||||
"scicode": 57.4,
|
||||
"tb21": null,
|
||||
"tb40": 25.8,
|
||||
"tbh": null,
|
||||
"tau2": null,
|
||||
"taub": null,
|
||||
"apex": null,
|
||||
"analyst": 52.5,
|
||||
"auto": 65.6,
|
||||
"gpqa": null,
|
||||
"critpt": 17.7,
|
||||
"hle": 43.1,
|
||||
"lcr": 76.7,
|
||||
"ifbench": null,
|
||||
"mmmu": null,
|
||||
"gdpv": 60.6,
|
||||
"gdppdf": 20,
|
||||
"ctx": 500000
|
||||
},
|
||||
{
|
||||
"id": "muse-spark-1.2-contributor",
|
||||
"n": "Muse Spark 1.2 Contributor",
|
||||
"lab": "meta",
|
||||
"free": false,
|
||||
"pi": 0.1,
|
||||
"po": 0.2,
|
||||
"ii": 39.6,
|
||||
"fc": null,
|
||||
"scicode": 57.4,
|
||||
"tb21": 80.1,
|
||||
"tb40": 7.1,
|
||||
"tbh": null,
|
||||
"tau2": null,
|
||||
"taub": 34.8,
|
||||
"apex": null,
|
||||
"analyst": null,
|
||||
"auto": 40.6,
|
||||
"gpqa": 90.4,
|
||||
"critpt": 17.7,
|
||||
"hle": 45.5,
|
||||
"lcr": 79,
|
||||
"ifbench": null,
|
||||
"mmmu": null,
|
||||
"gdpv": 48.6,
|
||||
"gdppdf": 17.4,
|
||||
"ctx": 1048576
|
||||
},
|
||||
{
|
||||
"id": "glm-5.3-flash",
|
||||
"n": "GLM-5.3-Flash",
|
||||
"lab": "zhipuai",
|
||||
"free": false,
|
||||
"pi": 0.15,
|
||||
"po": 0.5,
|
||||
"ii": 41.8,
|
||||
"fc": 41,
|
||||
"scicode": 51.6,
|
||||
"tb21": 84.3,
|
||||
"tb40": 32.8,
|
||||
"tbh": null,
|
||||
"tau2": null,
|
||||
"taub": 47.2,
|
||||
"apex": null,
|
||||
"analyst": 25,
|
||||
"auto": 60.4,
|
||||
"gpqa": 91.2,
|
||||
"critpt": 15.4,
|
||||
"hle": 39.9,
|
||||
"lcr": 80,
|
||||
"ifbench": null,
|
||||
"mmmu": null,
|
||||
"gdpv": 57.1,
|
||||
"gdppdf": 15.4,
|
||||
"ctx": 1000000
|
||||
},
|
||||
{
|
||||
"id": "qwen3.8-max",
|
||||
"n": "Qwen3.8 Max",
|
||||
"lab": "alibaba",
|
||||
"free": false,
|
||||
"pi": 2,
|
||||
"po": 6,
|
||||
"ii": 45.4,
|
||||
"fc": 43.2,
|
||||
"scicode": 52.1,
|
||||
"tb21": 88.8,
|
||||
"tb40": 38.9,
|
||||
"tbh": null,
|
||||
"tau2": null,
|
||||
"taub": 47.8,
|
||||
"apex": 42.4,
|
||||
"analyst": 45,
|
||||
"auto": 56.2,
|
||||
"gpqa": 92.8,
|
||||
"critpt": 17.7,
|
||||
"hle": 43.1,
|
||||
"lcr": 80.3,
|
||||
"ifbench": null,
|
||||
"mmmu": 82.8,
|
||||
"gdpv": 58.2,
|
||||
"gdppdf": 22.8,
|
||||
"ctx": 1000000
|
||||
},
|
||||
{
|
||||
"id": "hy3",
|
||||
"n": "Hy3",
|
||||
"lab": "tencent",
|
||||
"free": false,
|
||||
"pi": 0.14,
|
||||
"po": 0.58,
|
||||
"ii": 25.3,
|
||||
"fc": null,
|
||||
"scicode": 48.6,
|
||||
"tb21": 64.4,
|
||||
"tb40": 0.5,
|
||||
"tbh": null,
|
||||
"tau2": null,
|
||||
"taub": 22.9,
|
||||
"apex": null,
|
||||
"analyst": null,
|
||||
"auto": 18.4,
|
||||
"gpqa": 89.7,
|
||||
"critpt": 4.9,
|
||||
"hle": 33.5,
|
||||
"lcr": 79,
|
||||
"ifbench": null,
|
||||
"mmmu": null,
|
||||
"gdpv": 28.3,
|
||||
"gdppdf": 11.2,
|
||||
"ctx": 256000
|
||||
},
|
||||
{
|
||||
"id": "mimo-v2.5",
|
||||
"n": "MiMo V2.5",
|
||||
"lab": "xiaomi",
|
||||
"free": false,
|
||||
"pi": 0.14,
|
||||
"po": 0.28,
|
||||
"ii": 21.8,
|
||||
"fc": null,
|
||||
"scicode": 43.9,
|
||||
"tb21": 63.7,
|
||||
"tb40": 0,
|
||||
"tbh": 41.7,
|
||||
"tau2": 90.6,
|
||||
"taub": 8.7,
|
||||
"apex": null,
|
||||
"analyst": null,
|
||||
"auto": 18.4,
|
||||
"gpqa": 84.9,
|
||||
"critpt": 3.7,
|
||||
"hle": 27.2,
|
||||
"lcr": 73,
|
||||
"ifbench": 67.1,
|
||||
"mmmu": 75.4,
|
||||
"gdpv": 24.9,
|
||||
"gdppdf": 4,
|
||||
"ctx": 1000000
|
||||
},
|
||||
{
|
||||
"id": "deepseek-v4-pro",
|
||||
"n": "DeepSeek V4 Pro (New)",
|
||||
"lab": "deepseek",
|
||||
"free": false,
|
||||
"pi": 0.66,
|
||||
"po": 1.98,
|
||||
"ii": 36,
|
||||
"fc": 38.8,
|
||||
"scicode": 51,
|
||||
"tb21": 78.7,
|
||||
"tb40": 14.1,
|
||||
"tbh": null,
|
||||
"tau2": null,
|
||||
"taub": 39.6,
|
||||
"apex": null,
|
||||
"analyst": null,
|
||||
"auto": 56.7,
|
||||
"gpqa": 92.8,
|
||||
"critpt": 18,
|
||||
"hle": 41,
|
||||
"lcr": 80.3,
|
||||
"ifbench": null,
|
||||
"mmmu": null,
|
||||
"gdpv": 47.4,
|
||||
"gdppdf": 11.4,
|
||||
"ctx": 1000000
|
||||
},
|
||||
{
|
||||
"id": "glm-5.3",
|
||||
"n": "GLM-5.3",
|
||||
"lab": "zhipuai",
|
||||
"free": false,
|
||||
"pi": 1.4,
|
||||
"po": 4.4,
|
||||
"ii": 44.8,
|
||||
"fc": 40.1,
|
||||
"scicode": 59,
|
||||
"tb21": 83.9,
|
||||
"tb40": 41.9,
|
||||
"tbh": null,
|
||||
"tau2": null,
|
||||
"taub": 50.3,
|
||||
"apex": null,
|
||||
"analyst": 38.8,
|
||||
"auto": 62.2,
|
||||
"gpqa": 91.7,
|
||||
"critpt": 19.1,
|
||||
"hle": 42.3,
|
||||
"lcr": 79.7,
|
||||
"ifbench": null,
|
||||
"mmmu": null,
|
||||
"gdpv": 57.5,
|
||||
"gdppdf": 11.2,
|
||||
"ctx": 1000000
|
||||
},
|
||||
{
|
||||
"id": "gpt-5.6-luna",
|
||||
"n": "GPT-5.6 Luna",
|
||||
"lab": "openai",
|
||||
"free": false,
|
||||
"pi": 0.2,
|
||||
"po": 1.2,
|
||||
"ii": 37.3,
|
||||
"fc": null,
|
||||
"scicode": 53.6,
|
||||
"tb21": 80.9,
|
||||
"tb40": 11.6,
|
||||
"tbh": null,
|
||||
"tau2": null,
|
||||
"taub": 31.1,
|
||||
"apex": 35.8,
|
||||
"analyst": null,
|
||||
"auto": 50.2,
|
||||
"gpqa": 91.1,
|
||||
"critpt": 20.6,
|
||||
"hle": 39.5,
|
||||
"lcr": 83.7,
|
||||
"ifbench": null,
|
||||
"mmmu": 78.6,
|
||||
"gdpv": 48,
|
||||
"gdppdf": 24,
|
||||
"ctx": 1050000
|
||||
},
|
||||
{
|
||||
"id": "gpt-6-luna",
|
||||
"n": "GPT-6 Luna",
|
||||
"lab": "openai",
|
||||
"free": false,
|
||||
"pi": 0.1,
|
||||
"po": 0.5,
|
||||
"ii": 38.1,
|
||||
"fc": 41.9,
|
||||
"scicode": 54.6,
|
||||
"tb21": null,
|
||||
"tb40": 12.6,
|
||||
"tbh": null,
|
||||
"tau2": null,
|
||||
"taub": null,
|
||||
"apex": null,
|
||||
"analyst": 43.8,
|
||||
"auto": 53.2,
|
||||
"gpqa": null,
|
||||
"critpt": 19.4,
|
||||
"hle": 38.5,
|
||||
"lcr": 83.3,
|
||||
"ifbench": null,
|
||||
"mmmu": 79.7,
|
||||
"gdpv": 46.6,
|
||||
"gdppdf": 22.8,
|
||||
"ctx": 1050000
|
||||
},
|
||||
{
|
||||
"id": "space-bunny",
|
||||
"n": "Space Bunny",
|
||||
"lab": "",
|
||||
"free": false,
|
||||
"pi": 0.15,
|
||||
"po": 0.6,
|
||||
"ii": null,
|
||||
"fc": null,
|
||||
"scicode": null,
|
||||
"tb21": null,
|
||||
"tb40": null,
|
||||
"tbh": null,
|
||||
"tau2": null,
|
||||
"taub": null,
|
||||
"apex": null,
|
||||
"analyst": null,
|
||||
"auto": null,
|
||||
"gpqa": null,
|
||||
"critpt": null,
|
||||
"hle": null,
|
||||
"lcr": null,
|
||||
"ifbench": null,
|
||||
"mmmu": null,
|
||||
"gdpv": null,
|
||||
"gdppdf": null,
|
||||
"ctx": 1048576
|
||||
}
|
||||
];
|
||||
|
||||
Reference in New Issue
Block a user