rohitg00/ai-engineering-from-scratch は、大規模な AI エンジニアリング学習ロードマップです。スローガンは “Learn it. Build it. Ship it for others.”。概念を読むだけではなく、AI システムを基礎から実装していくことに重点があります。
すでに OpenAI、Claude、Gemini API は呼び出せるものの、機械学習、Transformer、学習、推論、エンジニアリングの底力を補いたいなら、このプロジェクトはブックマークする価値があります。
普通のリソース集ではない
多くの AI 学習リポジトリは、論文、講座、ブログリンクを集めただけです。ai-engineering-from-scratch はそれよりもコース目録に近く、各トピックが Learn か Build かで示され、多くの内容で Python によるゼロからの実装が求められます。
扱う範囲はかなり広いです。
- 数学と機械学習の基礎；
- ニューラルネットワークと深層学習；
- コンピュータビジョン；
- 音声と言語；
- Transformer の深掘り；
- 生成 AI；
- 強化学習；
- LLM from scratch；
- 推論最適化；
- AI Agent と本番エンジニアリング。
このルートは「今夜 AI アプリをリリースしたい」人向けではありません。AI エンジニアリングの基礎力を固めたい人に向いています。
学習ロードマップの特徴
明確な特徴は、段階的に進むことです。たとえば Transformer 部分では、RNN の問題から入り、self-attention、multi-head attention、positional encoding、完全な Transformer、BERT、GPT、T5、ViT、MoE、KV cache、Flash Attention、Scaling Laws、そして Transformer のゼロからの構築へ進みます。
LLM 部分も prompt だけではありません。次の内容を扱います。
- tokenizer：BPE、WordPiece、SentencePiece；
- tokenizer をゼロから構築；
- 事前学習データパイプライン；
- Mini GPT の事前学習；
- 分散学習；
- Instruction Tuning；
- RLHF；
- DPO；
- 推論最適化とデプロイ。
このような内容は、「AI API を使える」状態から「モデルがなぜそう動くのか理解している」状態へ進むのに役立ちます。
なぜ from scratch を重視するのか
「ゼロから実装」は遅く聞こえますが、フレームワークが何を隠しているかを理解できる利点があります。
たとえば自分で attention を書いたことがあれば、次のことを理解しやすくなります。
- コンテキストが長くなるほどなぜメモリを食うのか；
- KV cache がなぜ推論を速くするのか；
- Flash Attention は何を最適化しているのか；
- RoPE と ALiBi は位置エンコーディングでどう違うのか；
- MoE は単にパラメータ数を増やすだけではない理由；
- tokenization がなぜ多言語性能に影響するのか；
- 微調整、RLHF、DPO がそれぞれ異なる問題を解く理由。
API を呼び出すだけなら普段は使わない知識かもしれません。しかし、モデル選定、コスト最適化、ローカルデプロイ、長コンテキストシステム、Agent フレームワークを扱う段階になると、とても有用になります。
誰に向いているか
このロードマップは次のような人に向いています。
- Python は書けて、AI エンジニアリングを体系的に補いたい人；
- AI アプリは作っているが、モデル内部に自信がない人；
- API 利用者から AI Engineer に進みたい開発者；
- LLM、推論最適化、モデル学習を研究したい人；
- 動画や記事を見るだけでなく、作りながら学びたい人。
完全な初心者にはあまり向いていません。少なくとも Python、基礎数学、少しの機械学習概念がないと、途中で詰まりやすいです。
安定して始めるには
リポジトリ全体を一気に読もうとしないほうがよいです。より現実的には、目的に合わせてルートを選びます。
- AI アプリを作りたい：LLM、Agent、推論、エンジニアリングを優先；
- モデルを理解したい：ニューラルネットワーク、Transformer、LLM from scratch から始める；
- 音声プロダクトを作りたい：audio、Whisper、TTS、voice assistant pipeline を見る；
- 画像生成をやりたい：generative AI、diffusion、Stable Diffusion、ControlNet を見る；
- 基礎を補いたい：数学、機械学習、深層学習から始める。
各段階で小さなプロジェクトを残すのがよいです。目次を読むだけでも気持ちはよいですが、本当に価値があるのは tokenizer、attention、mini GPT、RAG、推論サービスを実際に動かすことです。
通常の AI アプリ開発との関係
現在の多くの AI アプリ開発では、モデルをゼロから学習する必要はありません。クラウド API、ベクトルデータベース、ワークフローエンジン、いくつかのツール呼び出しだけで、すぐにプロトタイプを作れます。
しかし、さらに進もうとすると次の問題に出会います。
- なぜこの長コンテキストモデルは遅いのか；
- なぜ RAG は答えを検索できたのにモデルが使わなかったのか；
- なぜ微調整後に一部の能力が劣化したのか；
- なぜローカルデプロイで VRAM が足りなくなるのか；
- なぜ Agent のツール呼び出しが不安定なのか；
- なぜ同じようなパラメータ数でもモデルごとのコストが大きく違うのか。
このとき、低レイヤーの知識は飾りではなく、デバッグ能力になります。
まとめ
ai-engineering-from-scratch は、AI エンジニアリングの基礎を本気で補いたい人に向いています。速成を約束するものではなく、単なるリンク集でもありません。多くの AI コアモジュールを、学習、実装、提供できる段階に分解しています。
単純な AI アプリを作るだけなら、最初から最後まで読む必要はありません。しかし API を呼ぶだけでなく、モデル、学習、推論、最適化、工程化まで理解したいなら、このリポジトリは長期的なロードマップになります。