ai-engineering-from-scratch: una ruta para construir ingeniería de IA desde cero

Sat, 06 Jun 2026 22:22:56 +0800

rohitg00/ai-engineering-from-scratch es una ruta amplia para aprender ingeniería de IA. Su lema es “Learn it. Build it. Ship it for others.” El énfasis no está solo en leer conceptos, sino en implementar sistemas de IA desde sus fundamentos.

Si ya sabes llamar a las APIs de OpenAI, Claude o Gemini, pero quieres completar conocimientos de base sobre machine learning, Transformers, entrenamiento, inferencia e ingeniería, este proyecto merece estar en tus marcadores.

No es una lista de recursos más

Muchos repositorios de aprendizaje de IA solo juntan papers, cursos y enlaces de blogs. ai-engineering-from-scratch se parece más a un índice de curso: cada tema indica si es Learn o Build, y muchas partes te piden implementar desde cero en Python.

Cubre un rango muy amplio:

Fundamentos de matemáticas y machine learning;
Redes neuronales y deep learning;
Visión por computadora;
Audio y voz;
Profundización en Transformers;
IA generativa;
Aprendizaje por refuerzo;
LLMs desde cero;
Optimización de inferencia;
AI Agent e ingeniería de producción.

Esta ruta no es para quien quiere lanzar una app de IA esta noche, pero sí para quien quiere fortalecer de verdad sus bases de ingeniería de IA.

Qué caracteriza la ruta

Una característica clara es el avance por fases. Por ejemplo, la parte de Transformers empieza con los problemas de RNN, luego pasa a self-attention, multi-head attention, positional encoding, Transformer completo, BERT, GPT, T5, ViT, MoE, KV cache, Flash Attention, Scaling Laws y construcción de un Transformer desde cero.

La parte de LLM tampoco trata solo de prompts. Cubre:

Tokenizers: BPE, WordPiece, SentencePiece;
Construir un tokenizer desde cero;
Pipelines de datos para preentrenamiento;
Preentrenar un Mini GPT;
Entrenamiento distribuido;
Instruction Tuning;
RLHF;
DPO;
Optimización de inferencia y despliegue.

Este tipo de contenido ayuda a pasar de “sé usar APIs de IA” a “entiendo por qué los modelos funcionan así”.

Por qué importa hacerlo desde cero

“Desde cero” suena lento, pero tiene una ventaja: entiendes qué ocultan los frameworks.

Si has escrito attention por tu cuenta, es más fácil entender:

Por qué los contextos más largos consumen más memoria;
Por qué KV cache acelera la inferencia;
Qué optimiza realmente Flash Attention;
En qué se diferencian RoPE y ALiBi en positional encoding;
Por qué MoE no es simplemente aumentar parámetros;
Por qué tokenization afecta el rendimiento multilingüe;
Qué problemas distintos resuelven fine-tuning, RLHF y DPO.

Estos detalles quizá no se usan al llamar una API. Pero cuando haces selección de modelos, optimización de costes, despliegue local, sistemas de contexto largo o frameworks de Agents, se vuelven muy útiles.

Para quién es

Esta ruta encaja mejor con:

Personas que ya escriben Python y quieren aprender ingeniería de IA de forma sistemática;
Desarrolladores de aplicaciones de IA que no se sienten seguros sobre los fundamentos de los modelos;
Desarrolladores que quieren pasar de llamar APIs a ser AI Engineers;
Personas que preparan investigación sobre LLMs, optimización de inferencia o entrenamiento de modelos;
Quienes prefieren aprender construyendo, no solo viendo videos o leyendo artículos.

No es ideal para principiantes absolutos. Conviene tener al menos Python, matemáticas básicas y algunos conceptos de machine learning, o será fácil atascarse.

Cómo empezar de forma estable

No intentes tragarte todo el repositorio de una vez. Lo más práctico es elegir una ruta según tu objetivo:

Quieres crear apps de IA: prioriza LLMs, Agents, inferencia e ingeniería;
Quieres entender modelos: empieza por redes neuronales, Transformers y LLM from scratch;
Quieres productos de voz: mira audio, Whisper, TTS y voice assistant pipeline;
Quieres generación de imágenes: mira generative AI, diffusion, Stable Diffusion y ControlNet;
Quieres fundamentos: empieza por matemáticas, machine learning y deep learning.

Lo mejor es dejar un pequeño proyecto en cada fase. Leer el índice se siente bien, pero el valor real aparece al ejecutar un tokenizer, attention, mini GPT, RAG o servicio de inferencia.

Relación con el desarrollo normal de apps de IA

Muchas aplicaciones de IA hoy no necesitan entrenar modelos desde cero. Puedes usar APIs en la nube, bases vectoriales, motores de workflow y algunas llamadas a herramientas para crear un prototipo rápido.

Pero si quieres ir más lejos, aparecen preguntas como:

¿Por qué este modelo de contexto largo es tan lento?
¿Por qué RAG recuperó la respuesta pero el modelo no la usó?
¿Por qué algunas capacidades empeoraron después del fine-tuning?
¿Por qué el despliegue local se queda sin VRAM?
¿Por qué las llamadas a herramientas del Agent son inestables?
¿Por qué modelos con parámetros similares tienen costes tan diferentes?

En ese momento, el conocimiento de bajo nivel deja de ser decoración y se convierte en capacidad de depuración.

Resumen

ai-engineering-from-scratch es para personas que quieren fortalecer seriamente las bases de la ingeniería de IA. No promete atajos ni es solo una colección de marcadores; divide muchos módulos centrales de IA en fases que se pueden aprender, implementar y entregar.

Si solo haces apps simples de IA, no necesitas leerlo entero. Pero si quieres entender no solo cómo llamar APIs, sino también modelos, entrenamiento, inferencia, optimización y despliegue de ingeniería, este repositorio puede servir como ruta a largo plazo.

Referencias

rohitg00/ai-engineering-from-scratch - GitHub

AI Engineering on KnightLi Blog