プログラミング言語評価ツール、コーディングエージェントの言語別トークン効率と性能検証を公開──動的言語の優位性は非トリビアなタスクで消失
Rosetta Code などの単純なタスクで観測された動的言語の圧倒的なトークン効率の優位性は、実務規模の zstd デコーダ実装タスクにおいて消失し、主流言語の優位性が確認された。
リリース: 2007-01-01 · 読了 3 分記事の要約
1. 核心（What）
- 動的言語と静的言語の間における LLM トークンコストの差異と、コーディングエージェントの性能への影響を検証した。
- Rosetta Code 等のトリビアなタスクと、zstd RFC を用いた完全な zstd デコーダ実装という非トリビアなタスクの双方で比較を行った。
- GPT-5.6 Sol を用い、コストおよび時間を軸に medium と ultra の努力量で評価を実施した。
2. 影響（Why）
- トリビアな評価の罠: 単純なタスクでの高速化や高効率の傾向は、問題規模が拡大した際に消失するため、実務への適用判断を誤る原因となる。
- 実務的な言語選定への回帰: 言語の人気度と正解率・コストの間に弱い正の相関が確認され、通常の開発者は主流言語を選択する方が安全である。
3. 根拠・詳細（How）
- zstd デコーダ実装による検証設計: インターネット接続なしのコンテナ環境において zstd の RFC と errata をエージェントに与え、デコーダを完全実装させることで非トリビアなタスク性能を測定。
- GPT-5.6 Sol によるコスト・時間軸の比較: x 軸にコストまたは時間を、y 軸に正解率をとる散布図を作成し、medium effort と ultra effort の双方の挙動を検証した。
4. 展望・課題（Next）
- 評価手法の洗練: 単純なコード量ではなく、大規模なコードベースにおける長期的なエージェントのコンテキスト処理能力の追加検証が望まれる。