5つのモデルを同じPCで動かしました。入力を読み込む速さ、文章を作る速さ、応答が始まるまでの時間を測りました。

Qwen 3.8 Flashは、GPUを1枚と2枚で試しました。1枚では260,000トークン、2枚では1,047,001トークンの入力を処理できました。

測定日：2026年10月26日。

1件ずつ送り、動作を確かめてから測りました。何回測ったかも表に載せています。

試した環境

GPUはRTX PRO 6000 Blackwellを使いました。1枚のメモリは96 GBです。モデルごとにGPUを1枚か2枚使いました。PCのメインメモリは768 GBです。

項目内容
CPUAMD EPYC 9175F 16-Core Processor
GPUNVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition × 2
GPUメモリ96 GB × 2
GPU電力上限300 W × 2
メインメモリ768 GB

用語集

用語の説明
用語説明
トークンモデルが文章を分けて処理する単位です。
Decode文章を作る速さです。推論用のトークンも含みます。
Prefill入力を新しく読み込む速さです。前の計算を再利用した分は含めていません。
TTFT最初のトークンがサーバーから出るまでの時間です。
MTP次のトークンを先にいくつか予測する仕組みです。
キャッシュ前の計算を保存し、同じ入力を処理するときに再利用する仕組みです。

Qwenで試したこと

MTPは、次のトークンを先にいくつか予測する仕組みです。モデルに含まれるMTPを使い、3トークンずつ提案する設定で動かしました。GPU1枚では上限256K、2枚では上限256Kと1Mを試しました。入力と出力のトークン数も記録しました。前の計算を再利用した数も載せています。

文章を作る速さをDecode、入力を読み込む速さをPrefillと呼びます。TTFTは、最初のトークンが出るまでの時間です。tok/sは、1秒に処理したトークン数です。

GPU2枚で試した結果

256Kと1Mの設定で動かしました。1Mでは、1,047,001トークンを入力し、128トークンを出力しました。入力と出力の合計は、設定上限1,048,576トークン以内に収まっています。

GPUを2枚使い、MTP3で動かしました（TP2）。各入力を1回ずつ測りました。temperatureは0、reasoningはlowです。
設定上限 tokens実入力 tokens再利用 tokens出力 tokens回数Decode tok/sPrefill tok/sTTFT 秒
262,14463635121277.5未測定0.032
1,048,57663635121264.4未測定0.032
1,048,5761,047,00101281151.610,291101.918

1,047,001トークンを入力すると、全体で102.799秒かかりました。返った128トークンは、すべて回答前の推論に使われました。通常の回答文はありませんでした。長い入力を読めるかを確かめた結果です。回答の正しさは調べていません。63トークンを入力した2件は、前の計算をすべて再利用しました。新しく読み込んだ分がないため、Prefill速度は載せていません。

GPU1枚で試した結果

Qwen GPU1枚の入力長別の生成速度
GPU1枚・MTP3・256Kで、各入力を3回測った中央値と範囲です。92入力は全体を再利用しています。 図を開く
GPUを1枚使い、MTP3で動かしました。入力と出力の合計は262,144トークンまでです。各入力を3回測り、中央値を載せています。temperatureは0、reasoningはlowです。
実入力 tokens再利用 tokens出力 tokens回数Decode tok/sDecode範囲 tok/sPrefill tok/sTTFT 秒
92925123237.7227.9〜242.3未測定全入力を再利用0.036
4,09605123242.5231.7〜247.012,9130.323
260,00005123213.0202.4〜218.212,12121.498

260,000トークンを入力したときは、全体で中央値24.072秒かかりました。リクエストを送ってから応答を受け終わるまでの時間です。

GPU1枚の92トークンと、2枚の63トークンは、前の計算をすべて再利用しました。そのため、Prefill速度は載せていません。表で「再利用0」とした入力は、新しく読み込んだ分を測っています。

長い入力は、課題の前に同じ単語や数字を繰り返し、長さを調整しました。長文から情報を正しく取り出せるか、答えが正確かは調べていません。

設定上限とメモリの内訳

NVIDIAが公開したQwenの同じ版を使いました。TP1はGPU1枚、TP2はGPU2枚に分けて計算する設定です。1枚では入力と出力の合計を262,144トークン以内、2枚の1M設定では1,048,576トークン以内にしました。

GPU1枚の記録では、埋め込みの重み（PLE）26.82 GiBをCPU側に置いていました。前の計算を再利用するメモリ（KV）には15.09 GiBを割り当てていました。KVには819,365トークン分の領域がありました。これは全体で使える広さです。1件の入力と出力の上限とは別です。

GPU2枚の1M設定では、YaRNを使いました。扱える長さを元の4倍に広げる設定です。512Kと768Kは、設定の確認だけです。GPUでの生成は試していません。GPUの枚数や、入力と出力の長さを変えています。キャッシュの使い方と測った回数も違います。速度の差が、長さの上限だけで決まったとは言えません。

モデルごとの結果

Qwenは、GPU1枚と2枚の結果を並べました。他の4モデルも、GPUの枚数や入力の長さを載せています。設定と測った回数が違います。速さの数字だけで、モデルの良し悪しは決められません。

生成速度と応答までの時間

生成中の速さ
3回測った行は中央値と最小値〜最大値、1回の行はその測定値です。 図を開く
各行の入力、再利用、出力、測った回数を載せています。
モデルGPU枚数設定上限 tokens入力 tokens再利用 tokens出力 tokens回数Decode tok/sTTFT ms
Qwen 3.8 Flash NVIDIA1262,1444,09605123242.5322.7
Qwen 3.8 Flash NVIDIA21,048,5761,047,00101281151.6101,918.4
DeepSeek V4.1 Flash 10172524,2888505123220.9176.4
GLM 5.3 Flash NVIDIA2262,14464645123193.921.1
Nemotron 3.5 Super VL1131,0727005123170.4106.6
MiniMax M3.1 Flash 272B2131,0722430512380.581.7
応答が始まるまでの時間
TTFTの横軸は対数です。入力の長さと測った回数は、各行に載せています。 図を開く

入力を読む速さ

入力を読む速さ
各行に、GPU枚数、設定上限、入力と出力の数、測った回数を載せています。 図を開く
各行の入力、再利用、出力、測った回数を載せています。
モデルGPU枚数設定上限 tokens入力 tokens再利用 tokens出力 tokens回数Prefill tok/s
Qwen 3.8 Flash NVIDIA1262,1444,0960512312,913
Qwen 3.8 Flash NVIDIA21,048,5761,047,0010128110,291
DeepSeek V4.1 Flash 10172524,2883,447–3,45401637,283
GLM 5.3 Flash NVIDIA2262,1443,484–3,50101638,236
Nemotron 3.5 Super VL1131,0724,005–4,019016313,306
MiniMax M3.1 Flash 272B2131,0723,497–3,52501635,580

モデルと使った設定

Qwen 3.8 Flash NVIDIA

GPUを1枚使い、MTP3で試しました。4,096トークンと260,000トークンの入力は、新しく読み込ませました。92トークンの入力は、全体をキャッシュから再利用しました。

項目内容
量子化NVFP4 mixed
GPU1枚の上限262,144 tokens
GPU2枚・1Mの上限1,048,576 tokens
推論の設定low
vLLM0.1.dev21830+g8244d1c44

nvidia/Qwen3.8-Flash-Next-FP4-Local

Revision: b9ce18a6887e18c089fdea8509a33e63429a3300

DeepSeek V4.1 Flash 1017

DSpark5で220.9 tok/sでした。文章を生成している間の速さです。入力を読み込む速さは、別に測っています。

項目内容
量子化EXL3 3.0bpw
設定上限524,288 tokens
推論の設定low
vLLM0.31.1rc1.dev376+g5555a2d8f

diffbot/DeepSeek-V4.1-Flash-EXL3-3bpw-2x-RTX-PRO-6000

Revision: bdc01239200699e48cab9dc3a650d1ead8e562f1

各方式を3回測り、中央値を載せています。文章を作る速さと、応答が始まるまでの時間は、512トークンを出力させて測りました。入力を読む速さは、16トークンを出力させて測りました。入力した数と、前の計算を再利用した数も載せています。
使った方式と入力の長さDecode tok/sPrefill tok/sTTFT ms
DSpark5Decode・TTFT：85入力／再利用0Prefill：3,447〜3,454入力／再利用0220.9213.9〜228.57,283176.4
GLM 5.3 Flash NVIDIA

MTP3では193.9 tok/s、Inco DFlash2では176.2 tok/sでした。使った方式ごとに、入力を読み込む速さと応答が始まるまでの時間も測りました。

項目内容
量子化NVFP4 mixed
設定上限262,144 tokens
推論の設定low
vLLM0.1.dev21830+g8244d1c44.cu134

nvidia/GLM-5.3-Flash-FP4-Local

Revision: 76348ddb2be2e35e39ecfc00e75dc07703f4f3d5

各方式を3回測り、中央値を載せています。文章を作る速さと、応答が始まるまでの時間は、512トークンを出力させて測りました。入力を読む速さは、16トークンを出力させて測りました。入力した数と、前の計算を再利用した数も載せています。
使った方式と入力の長さDecode tok/sPrefill tok/sTTFT ms
MTP3Decode・TTFT：64入力／再利用64Prefill：3,484〜3,501入力／再利用0193.9193.2〜194.68,23621.1
Inco DFlash2 (7 proposals)Decode・TTFT：64入力／再利用64Prefill：3,485〜3,497入力／再利用0176.2175.4〜177.78,2759.5
Nemotron 3.5 Super VL

MTP5を使うと170.4 tok/s、使わないと69.6 tok/sでした。回答前に推論するthinkingは無効にしました。LiLiCorrは使っていません。

項目内容
量子化NVFP4 mixed
設定上限131,072 tokens
推論の設定off
vLLM0.32.0

nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4

Revision: 59b8721646c38111a242da18218859fb2b454322

各方式を3回測り、中央値を載せています。文章を作る速さと、応答が始まるまでの時間は、512トークンを出力させて測りました。入力を読む速さは、16トークンを出力させて測りました。入力した数と、前の計算を再利用した数も載せています。
使った方式と入力の長さDecode tok/sPrefill tok/sTTFT ms
autoregressiveDecode・TTFT：70入力／再利用0Prefill：4,011〜4,018入力／再利用069.669.5〜69.613,37770.6
MTP5Decode・TTFT：70入力／再利用0Prefill：4,005〜4,019入力／再利用0170.4170.0〜170.413,306106.6
MiniMax M3.1 Flash 272B

DSpark7では80.5 tok/s、Inco DFlash2では81.7 tok/sでした。DFlash2の値は、3回で76.1〜92.7 tok/sの幅がありました。一度に提案する数を変えた結果は、下の表に載せています。

項目内容
量子化NVFP4/MXFP8
設定上限131,072 tokens
推論の設定native adaptive
vLLM0.1.dev23341+g8744dd2fb.d20261022.cu134

primitive-ai/MiniMax-M3.1-Flash-272B-NVFP4

Revision: 93dda6017e2edf22f51e6bd0814045406d114780

各方式を3回測り、中央値を載せています。文章を作る速さと、応答が始まるまでの時間は、512トークンを出力させて測りました。入力を読む速さは、16トークンを出力させて測りました。入力した数と、前の計算を再利用した数も載せています。
使った方式と入力の長さDecode tok/sPrefill tok/sTTFT ms
autoregressiveDecode・TTFT：243入力／再利用128Prefill：3,511〜3,534入力／再利用12839.139.0〜39.15,50471.7
Inco DFlash2 (7 proposals)Decode・TTFT：243入力／再利用0Prefill：3,501〜3,511入力／再利用081.776.1〜92.75,62181.4
DSpark7Decode・TTFT：243入力／再利用0Prefill：3,497〜3,525入力／再利用080.580.2〜82.15,58081.7

一度に提案する長さを変えた結果

DSparkが一度に提案するトークン数を3、5、7に変えて測りました。GPUを2枚使い、入力と出力の上限を128Kにしました。提案する数ごとに3回ずつ測りました。

MiniMaxの提案数別の生成速度
GPU2枚・128Kで、各提案数を3回測った中央値と範囲です。出力は512トークンです。 図を開く
512トークンずつ出力させ、各提案数を3回測りました。temperatureは0、推論量はモデルの自動設定です。提案が採用された割合と、1回に採用された数も載せています。
提案数Decode tok/sPrefill tok/s採用率採用数/回
373.45,65647.7%1.43
576.35,59036.0%1.80
785.15,57830.4%2.13

この3条件では、提案数7の生成速度が最も高くなりました。モデル比較のDSpark7は80.5 tok/s、ここでは85.1 tok/sです。別々に測った結果です。数値は分けて載せています。

測り方

APIへ1件ずつ送りました。サーバーが記録した時間から、速さを計算しました。モデルや実行の準備にかかった時間は含めていません。

生成と入力処理を分ける

Decodeは、最初の1トークンを除いた出力数を生成時間で割った値です。Prefillは、新しく計算した入力のトークン数を入力処理時間で割った値です。

TTFTは、推論用も含めた最初のトークンがサーバーから出るまでの時間です。利用者の端末までの通信時間は含みません。

入力とキャッシュを記録する

Qwen以外の4モデルは、512トークンを出力させて生成速度を測りました。入力の読み込みは、約3.4K〜4Kトークンを入れ、16トークンを出力させて測りました。QwenのGPU1枚は512トークンを出力させました。2枚では、短文は512トークン、1,047,001トークンの入力は128トークンを出力させました。

入力の読み込みを測るときは、先頭を毎回変えて、キャッシュを再利用しにくくしました。再利用した分は、処理した入力の数から除いています。GPUを1枚使った測定では、もう1枚で別の処理が動いていました。その影響があった可能性があります。

速度と回答の正しさを分ける

temperatureは0にしました。終了の合図（EOS）は無視し、指定した数まで生成させました。Decodeには推論用のトークンも含みます。この速さだけでは、文章が正しいかは分かりません。

画像やツール呼び出しは試していません。複数の人が同時に使う試験や、長く負荷をかけ続ける試験もしていません。数列の生成は、別のリクエストで確認しました。

推論設定とトークン数について

Qwen、GLM、DeepSeekはreasoning lowで測りました。MiniMaxはモデル標準の自動設定（adaptive）、Nemotronはthinkingを無効にしています。

トークンは、モデルが文章を分けて処理する単位です。同じ文章でも、モデルごとの区切り方や、入力に付く定型文で数が変わります。入力数をそろえても、モデルごとの違いは残ります。

DeepSeekのメモリ配置について

GPU0に92 GiB、GPU1に40 GiBを割り当てる案は、仕組みを調べた段階です。この配分では動かしていません。

使ったTP2の仕組みでは、GPUごとに違う容量を直接指定できません。expertは、モデルの計算を分担する部分です。CPUメモリに置いた分も、GPUがPCIeで読み出して計算します。GPUには、KVキャッシュや計算に使う空きメモリも必要です。

入力した内容と返った文章

記録した入力と、通常の応答を9件載せています。認証ヘッダー、内部の接続先、応答の識別用ID、推論過程は含めていません。応答文は書き足したり直したりしていません。

数列を作らせた例と、512トークンを出力させて速さを測った例を載せています。Qwenの数列はGPU2枚・MTP3・1M設定、コード生成はGPU1枚・MTP3・256K設定です。各例に、入力と出力のトークン数、出力の上限を載せています。

Qwen 3.8 Flash NVIDIA

数列1〜20 · 通常の生成確認 · MTP3

2 GPU · 上限1,048,576 tokens · MTP3 · 2026-10-26

実際の入出力
入力60／出力79 tokens
リクエストの指定
temperature：0 reasoning：low
終了理由
stop
出力の指定上限
256 tokens

数列を返すかを確かめました。速さを測ったときとは、出力の条件が違います。

入力（request JSON）

{
  "model": "qwen38-flash-next-nvidia-vllm",
  "messages": [
    {
      "role": "user",
      "content": "Write the numbers from 1 to 20, separated by spaces. Output only those numbers."
    }
  ],
  "max_tokens": 256,
  "temperature": 0,
  "reasoning_effort": "low"
}

通常の応答文



1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

この入力と応答をJSONで見る

コード生成 · 512出力の速度測定 · MTP3

1 GPU · 上限262,144 tokens · MTP3 · 2026-10-26

実際の入出力
入力4,096／出力512 tokens
リクエストの指定
temperature：0 reasoning：low
終了理由
length
出力の指定上限
512 tokens

出力の上限に達して止まりました。コードが完成したか、動くかは確かめていません。

入力を4,096トークンに揃えるため、「datum」を繰り返しました。末尾でPythonコードの作成を頼みました。この繰り返しも実際に送った内容です。

入力（request JSON）

{
  "model": "qwen38-flash-next-nvidia-vllm",
  "messages": [
    {
      "role": "user",
      "content": "Benchmark nonce: 47ac3fe5a43946ba83430d0ffe56c94e\nThe following background is neutral padding for a context-length benchmark.\n<context> datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum datum\n</context>\nUse the same task regardless of the padding:\nWrite a complete Python 3 module implementing an in-memory event store. Include immutable events, optimistic concurrency checks, per-stream ordering, replay, snapshots and several tests. Explain the design briefly, then provide all code. Continue until the module and tests are complete."
    }
  ],
  "max_tokens": 512,
  "temperature": 0,
  "ignore_eos": true,
  "stream": true,
  "stream_options": {
    "include_usage": true
  },
  "reasoning_effort": "low"
}

通常の応答文



## Design Overview

The event store follows the **Event Sourcing** pattern with these core principles:

| Concern | Approach |
|---------|----------|
| **Immutability** | Events and snapshots are `@dataclass(frozen=True)` — once written, never mutated. |
| **Per-stream ordering** | Each stream maintains a monotonically increasing integer version. Events are stored in a dict keyed by `stream_id`. |
| **Optimistic concurrency** | `append()` accepts an `expected_version`; if the current stream version ≠ expected, a `ConcurrencyError` is raised. |
| **Replay** | `read_stream()` returns all events (or a slice) in order. A higher-level `replay()` helper folds events into a state object. |
| **Snapshots** | `save_snapshot()` persists a state + version pair. `replay()` can start from the latest snapshot to avoid re-folding the entire history. |
| **Thread safety** | A single `threading.Lock` guards all mutations. |

---

## Complete Module

```python
"""
in_memory_event_store.py

この入力と応答をJSONで見る

DeepSeek V4.1 Flash 1017

数列1〜20 · 通常の生成確認 · DSpark5

2 GPU · 上限524,288 tokens · DSpark5 · 2026-10-26

実際の入出力
入力49／出力57 tokens
リクエストの指定
temperature：記録なし reasoning：記録なし
終了理由
completed
出力の指定上限
256 tokens

数列を返すかを確かめました。速さを測ったときとは、出力の条件が違います。

入力（request JSON）

{
  "input": "Write the numbers from 1 to 20, separated by spaces. Output only those numbers.",
  "max_output_tokens": 256,
  "model": "deepseek-v41-flash-1017",
  "stream": false
}

通常の応答文

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

この入力と応答をJSONで見る

GLM 5.3 Flash NVIDIA

コード生成 · 512出力の速度測定 · MTP3

2 GPU · 上限262,144 tokens · MTP3 · 2026-10-26

実際の入出力
入力64／出力512 tokens
リクエストの指定
temperature：0 reasoning：low
終了理由
length
出力の指定上限
512 tokens

出力の上限に達して止まりました。コードが完成したか、動くかは確かめていません。

入力（request JSON）

{
  "ignore_eos": true,
  "max_tokens": 512,
  "messages": [
    {
      "content": "Write a complete Python 3 module implementing an in-memory event store. Include immutable events, optimistic concurrency checks, per-stream ordering, replay, snapshots and several tests. Explain the design briefly, then provide all code. Continue until the module and tests are complete.",
      "role": "user"
    }
  ],
  "model": "glm53-flash-nvidia-vllm",
  "reasoning_effort": "low",
  "stream": true,
  "stream_options": {
    "include_usage": true
  },
  "temperature": 0
}

通常の応答文

# In-Memory Event Store — Design Overview

**Core concepts:**

- **Immutable events**: `Event` is a frozen dataclass. Once created, it can't be mutated.
- **Per-stream ordering**: Each stream has its own version number starting at 0. Appends specify an `expected_version` for **optimistic concurrency control** — if another writer appended first, the append fails with `ConcurrencyError`.
- **Global ordering**: Events also get a monotonically increasing global position, useful for projections/replay across all streams.
- **Replay**: `read_stream` returns events for one stream; `read_all` returns everything in global order; `replay` folds events through a user-supplied handler to rebuild state.
- **Snapshots**: A snapshot stores the state of a stream at a given version, so replay can start from the snapshot instead of version 0. Snapshots are also immutable.
- **Thread safety**: A single `RLock` guards all mutations, making the store safe for concurrent use while keeping appends atomic.

```python
"""
inmem_event_store.py

A simple in-memory event store with:
  * immutable events
  * optimistic concurrency control (expected_version checks)
  * per-stream ordering + global ordering
  * replay (per-stream and global)
  * snapshots

Python 3.8+, standard library only.
"""

from __future__ import annotations

import copy
import itertools
import threading
import unittest
from dataclasses import dataclass, field, replace
from typing import Any, Callable, Dict, Iterable, List, Optional, Tuple


# --------------------------------------------------------------------------
# Exceptions
# --------------------------------------------------------------------------

class EventStoreError(Exception):
    """Base class for event store errors."""


class StreamNotFoundError(EventStoreError):
    pass


class ConcurrencyError(EventStoreError):
    def __init__(self, stream_id: str, expected: int, actual: int):
        self.stream_id = stream_id
        self.expected = expected
        self.actual = actual
        super().__init__(
            f"Concurrency conflict on stream '{stream_id}': "
            f"expected version {expected}, actual version {actual}"
        )


class SnapshotVersionError(EventStoreError):
    pass


# --------------------------------------------------------------------------
# Immutable event
# --------------------------------------------------------------------------

@dataclass(frozen=True)
class Event:
    """
    An immutable domain event.

この入力と応答をJSONで見る

数列1〜20 · 通常の生成確認 · MTP3

2 GPU · 上限262,144 tokens · MTP3 · 2026-10-26

実際の入出力
入力31／出力49 tokens
リクエストの指定
temperature：0 reasoning：low
終了理由
stop
出力の指定上限
256 tokens

数列を返すかを確かめました。速さを測ったときとは、出力の条件が違います。

入力（request JSON）

{
  "max_tokens": 256,
  "messages": [
    {
      "content": "Write the numbers from 1 to 20, separated by spaces. Output only those numbers.",
      "role": "user"
    }
  ],
  "model": "glm53-flash-nvidia-vllm",
  "reasoning_effort": "low",
  "temperature": 0
}

通常の応答文

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

この入力と応答をJSONで見る

Nemotron 3.5 Super VL

コード生成 · 512出力の速度測定 · MTP5

1 GPU · 上限131,072 tokens · MTP5 · 2026-10-26

実際の入出力
入力70／出力512 tokens
リクエストの指定
temperature：0 reasoning：記録なし
終了理由
length
出力の指定上限
512 tokens

出力の上限に達して止まりました。コードが完成したか、動くかは確かめていません。

入力（request JSON）

{
  "chat_template_kwargs": {
    "enable_thinking": false
  },
  "ignore_eos": true,
  "max_tokens": 512,
  "messages": [
    {
      "content": "Write a complete Python 3 module implementing an in-memory event store. Include immutable events, optimistic concurrency checks, per-stream ordering, replay, snapshots and several tests. Explain the design briefly, then provide all code. Continue until the module and tests are complete.",
      "role": "user"
    }
  ],
  "model": "nemotron35-super-vl-nvfp4-vllm",
  "stream": true,
  "stream_options": {
    "include_usage": true
  },
  "temperature": 0
}

通常の応答文

### Design Overview

This module implements an **in-memory event store** using the Event Sourcing pattern. The core concepts are:

1.  **Immutable Events**: Once an event is appended to a stream, it cannot be modified. It is represented as a frozen dataclass.
2.  **Streams**: A stream is a logical sequence of events identified by a `stream_id`. Events within a stream are strictly ordered by a `version` number.
3.  **Optimistic Concurrency Control (OCC)**: To prevent race conditions where two processes modify the same stream simultaneously, the store uses an `expected_version`. If the current version of the stream does not match the expected version, a `ConcurrencyError` is raised.
4.  **Snapshots**: To avoid replaying thousands of events to reconstruct an aggregate's state, the store supports snapshots. A snapshot captures the state at a specific version. When loading a stream, the store loads the latest snapshot and only replays events occurring after that version.
5.  **Replay**: The ability to iterate through all events in a stream from a specific starting version to the end.

---

### The Module: `event_store.py`

```python
import threading
from dataclasses import dataclass, field
from typing import Any, Callable, Dict, List, Optional, TypeVar, Generic
from uuid import UUID, uuid4

T = TypeVar('T')

class EventStoreError(Exception):
    """Base exception for event store errors."""
    pass

class ConcurrencyError(EventStoreError):
    """Raised when optimistic concurrency check fails."""
    pass

class StreamNotFoundError(EventStoreError):
    """Raised when a stream does not exist."""
    pass

@dataclass(frozen=True)
class Event(Generic[T]):
    """
    An immutable event.
    :param stream_id: The ID of the stream this event belongs to.
    :param version: The sequential version of this event within the stream.
    :param event_type: A string describing the type of event (e.g., 'ItemAdded').
    :param data: The payload of the event.
    :param timestamp: Optional timestamp of occurrence.
    """
    stream_id: str
    version: int
    event_type: str
    data: T
    timestamp: float = field(default_factory=lambda: __import__('time').time())

@dataclass
class Snapshot(Generic[T]):
    """

この入力と応答をJSONで見る

数列1〜20 · 通常の生成確認 · MTP5

1 GPU · 上限131,072 tokens · MTP5 · 2026-10-26

実際の入出力
入力36／出力51 tokens
リクエストの指定
temperature：0 reasoning：記録なし
終了理由
stop
出力の指定上限
256 tokens

数列を返すかを確かめました。速さを測ったときとは、出力の条件が違います。

入力（request JSON）

{
  "chat_template_kwargs": {
    "enable_thinking": false
  },
  "max_tokens": 256,
  "messages": [
    {
      "content": "Write the numbers from 1 to 20, separated by spaces. Output only those numbers.",
      "role": "user"
    }
  ],
  "model": "nemotron35-super-vl-nvfp4-vllm",
  "temperature": 0
}

通常の応答文

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

この入力と応答をJSONで見る

MiniMax M3.1 Flash 272B

数列1〜20 · 通常の生成確認 · autoregressive

2 GPU · 上限131,072 tokens · autoregressive · 2026-10-26

実際の入出力
入力210／出力57 tokens
リクエストの指定
temperature：0 reasoning：記録なし
終了理由
stop
出力の指定上限
256 tokens

数列を返すかを確かめました。速さを測ったときとは、出力の条件が違います。

入力（request JSON）

{
  "max_tokens": 256,
  "messages": [
    {
      "content": "Write the numbers from 1 to 20, separated by spaces. Output only those numbers.",
      "role": "user"
    }
  ],
  "model": "minimax-m31-flash-272b-nvfp4-vllm",
  "temperature": 0
}

通常の応答文

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

この入力と応答をJSONで見る

数列1〜20 · 通常の生成確認 · DSpark7

2 GPU · 上限131,072 tokens · DSpark7 · 2026-10-26

実際の入出力
入力210／出力60 tokens
リクエストの指定
temperature：0 reasoning：記録なし
終了理由
stop
出力の指定上限
256 tokens

数列を返すかを確かめました。速さを測ったときとは、出力の条件が違います。

入力（request JSON）

{
  "max_tokens": 256,
  "messages": [
    {
      "content": "Write the numbers from 1 to 20, separated by spaces. Output only those numbers.",
      "role": "user"
    }
  ],
  "model": "minimax-m31-flash-272b-nvfp4-vllm",
  "temperature": 0
}

通常の応答文

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

この入力と応答をJSONで見る

測定に使った資料

ZIPには、動作の準備を含む135件のリクエスト記録を入れています。

分かったこと

Qwen 3.8 Flashは、GPUを2枚使い、1Mまで扱える設定で試しました。1,047,001トークンの入力を処理できました。1回の測定で、入力の読み込みは10,291 tok/s、生成は151.6 tok/sでした。最初のトークンが出るまで101.918秒、全体では102.799秒かかりました。

GPUを1枚使った256Kの設定では、4,096トークンの入力で242.5 tok/s、260,000トークンの入力で213.0 tok/sでした。各入力を3回測った中央値です。

長い入力を読み込めることと、正しく答えられることは別です。長文から情報を正しく取り出せるか、複数の人が同時に使ったときも速いかは調べていません。回答の正しさは、用途に合うデータで確かめる必要があります。