anuj0456、OSS ライブラリ OpenArch を公開──Llama 3 や DeepSeek R1 などの PyTorch 実装を網羅
複雑化する商用 LLM の構造差分を可読性重視で手書き実装し、比較コストを劇的に下げる学習用リポジトリ。
リリース: 2026-09-14 · 読了 3 分記事の要約
1. 核心（What）
- OpenArch は Sebastian Raschka の LLM Architecture Gallery をベースに、主要な LLM アーキテクチャを PyTorch で再実装したリポジトリである。
- 各モデルフォルダには model.py と設定解説の README.md が格納されている。
- Llama 2、Llama 3、OLMo 2、DeepSeek R1、Kimi K2 などのアーキテクチャがフォワードパス検証済み（✅）として登録されている。
2. 影響（Why）
- プロダクションコードの難解さを解消: transformers などの実務向けライブラリは分散学習や後方互換性のために複雑化しているが、本リポジトリは構造の比較に特化している。
- 構造差分の明確化による学習効率向上: Attention 方式や正規化レイヤー、MoE ルーティングの違いが 1 ファイルで明示されるため、アーキテクチャの理解コストが下がる。
3. 根拠・詳細（How）
- 1 モデル 1 ファイルのシンプルなディレクトリ構成: 各アーキテクチャは text/ や multimodal/ の配下に独立したフォルダを持ち、モデルごとに単一の model.py で実装されている。
- オープンソース設計と Apache License 2.0 採用: 公式の論文、技術レポート、config.json を基に手書きで実装され、Apache License 2.0 のもとでコードが公開されている。
4. 展望・課題（Next）
- 未実装モデルの追加予定: Grok-2.5 や Dall-e などの未完成（🚧）モデルの実装およびコントリビューターの募集が続けられている。