ai-engineering-from-scratch：AI エンジニアリングをゼロから作る学習ロードマップ

Sat, 06 Jun 2026 22:22:56 +0800

rohitg00/ai-engineering-from-scratch は、大規模な AI エンジニアリング学習ロードマップです。スローガンは “Learn it. Build it. Ship it for others.”。概念を読むだけではなく、AI システムを基礎から実装していくことに重点があります。

すでに OpenAI、Claude、Gemini API は呼び出せるものの、機械学習、Transformer、学習、推論、エンジニアリングの底力を補いたいなら、このプロジェクトはブックマークする価値があります。

普通のリソース集ではない

多くの AI 学習リポジトリは、論文、講座、ブログリンクを集めただけです。ai-engineering-from-scratch はそれよりもコース目録に近く、各トピックが Learn か Build かで示され、多くの内容で Python によるゼロからの実装が求められます。

扱う範囲はかなり広いです。

数学と機械学習の基礎；
ニューラルネットワークと深層学習；
コンピュータビジョン；
音声と言語；
Transformer の深掘り；
生成 AI；
強化学習；
LLM from scratch；
推論最適化；
AI Agent と本番エンジニアリング。

このルートは「今夜 AI アプリをリリースしたい」人向けではありません。AI エンジニアリングの基礎力を固めたい人に向いています。

学習ロードマップの特徴

明確な特徴は、段階的に進むことです。たとえば Transformer 部分では、RNN の問題から入り、self-attention、multi-head attention、positional encoding、完全な Transformer、BERT、GPT、T5、ViT、MoE、KV cache、Flash Attention、Scaling Laws、そして Transformer のゼロからの構築へ進みます。

LLM 部分も prompt だけではありません。次の内容を扱います。

tokenizer：BPE、WordPiece、SentencePiece；
tokenizer をゼロから構築；
事前学習データパイプライン；
Mini GPT の事前学習；
分散学習；
Instruction Tuning；
RLHF；
DPO；
推論最適化とデプロイ。

このような内容は、「AI API を使える」状態から「モデルがなぜそう動くのか理解している」状態へ進むのに役立ちます。

なぜ from scratch を重視するのか

「ゼロから実装」は遅く聞こえますが、フレームワークが何を隠しているかを理解できる利点があります。

たとえば自分で attention を書いたことがあれば、次のことを理解しやすくなります。

コンテキストが長くなるほどなぜメモリを食うのか；
KV cache がなぜ推論を速くするのか；
Flash Attention は何を最適化しているのか；
RoPE と ALiBi は位置エンコーディングでどう違うのか；
MoE は単にパラメータ数を増やすだけではない理由；
tokenization がなぜ多言語性能に影響するのか；
微調整、RLHF、DPO がそれぞれ異なる問題を解く理由。

API を呼び出すだけなら普段は使わない知識かもしれません。しかし、モデル選定、コスト最適化、ローカルデプロイ、長コンテキストシステム、Agent フレームワークを扱う段階になると、とても有用になります。

誰に向いているか

このロードマップは次のような人に向いています。

Python は書けて、AI エンジニアリングを体系的に補いたい人；
AI アプリは作っているが、モデル内部に自信がない人；
API 利用者から AI Engineer に進みたい開発者；
LLM、推論最適化、モデル学習を研究したい人；
動画や記事を見るだけでなく、作りながら学びたい人。

完全な初心者にはあまり向いていません。少なくとも Python、基礎数学、少しの機械学習概念がないと、途中で詰まりやすいです。

安定して始めるには

リポジトリ全体を一気に読もうとしないほうがよいです。より現実的には、目的に合わせてルートを選びます。

AI アプリを作りたい：LLM、Agent、推論、エンジニアリングを優先；
モデルを理解したい：ニューラルネットワーク、Transformer、LLM from scratch から始める；
音声プロダクトを作りたい：audio、Whisper、TTS、voice assistant pipeline を見る；
画像生成をやりたい：generative AI、diffusion、Stable Diffusion、ControlNet を見る；
基礎を補いたい：数学、機械学習、深層学習から始める。

各段階で小さなプロジェクトを残すのがよいです。目次を読むだけでも気持ちはよいですが、本当に価値があるのは tokenizer、attention、mini GPT、RAG、推論サービスを実際に動かすことです。

通常の AI アプリ開発との関係

現在の多くの AI アプリ開発では、モデルをゼロから学習する必要はありません。クラウド API、ベクトルデータベース、ワークフローエンジン、いくつかのツール呼び出しだけで、すぐにプロトタイプを作れます。

しかし、さらに進もうとすると次の問題に出会います。

なぜこの長コンテキストモデルは遅いのか；
なぜ RAG は答えを検索できたのにモデルが使わなかったのか；
なぜ微調整後に一部の能力が劣化したのか；
なぜローカルデプロイで VRAM が足りなくなるのか；
なぜ Agent のツール呼び出しが不安定なのか；
なぜ同じようなパラメータ数でもモデルごとのコストが大きく違うのか。

このとき、低レイヤーの知識は飾りではなく、デバッグ能力になります。

まとめ

ai-engineering-from-scratch は、AI エンジニアリングの基礎を本気で補いたい人に向いています。速成を約束するものではなく、単なるリンク集でもありません。多くの AI コアモジュールを、学習、実装、提供できる段階に分解しています。

単純な AI アプリを作るだけなら、最初から最後まで読む必要はありません。しかし API を呼ぶだけでなく、モデル、学習、推論、最適化、工程化まで理解したいなら、このリポジトリは長期的なロードマップになります。

参考ソース

rohitg00/ai-engineering-from-scratch - GitHub

学習ロードマップ on KnightLiブログ