angelos-p、学習教材 llm-from-scratch を公開──ノート PC で 10M 級 GPT を 1 時間以内にスクラッチ学習
Andrej Karpathy の nanoGPT を教育用に簡略化し、M3 Pro 等のローカル環境でトークナイザーから学習ループまでを完結できる、中級エンジニア向けのハンズオン教材。
リリース: 2026-05-05 · 読了 5 分Andrej Karpathy の nanoGPT をベースに、124M から 10M パラメータへ規模を縮小し、学習時間を 1 時間未満に短縮したワークショップ用リポジトリ。
Python 3.12 と PyTorch を使用し、Apple Silicon (MPS)、NVIDIA (CUDA)、CPU の自動切り替えによる学習実行に対応している。
トークナイザー、Transformer アーキテクチャ、AdamW 最適化器を含む学習ループ、推論サンプリングの全工程を 6 つのパートで実装する構成。
パッケージ管理に uv を採用し、環境構築から Shakespeare データセットを用いた学習開始までのセットアップ時間を最小化している。
LLM を API 経由のブラックボックスとして扱うのではなく、アテンションの挙動や損失関数の推移をコードレベルで把握することで、実務でのデバッグや微調整の精度が向上する。
高価な H100 等のクラウド GPU を借りずとも、手元の MacBook で「モデルが賢くなる過程」を実体験できるため、社内勉強会や新人研修のコストを大幅に抑えられる。
LLM をライブラリ依存で使う段階を脱し、トークン制限や推論パラメータが数式レベルでどう作用するかをコードで理解したテックリードを育成できる。
[国内 AI 受託開発・SaaS 企業] のエンジニア研修において、API 呼び出し中心のカリキュラムからモデルの内部構造を理解する「深掘り型」へのシフトを、追加のインフラ予算なしで実現する。