AI on KnightLi的博客

什麼是圖像向量化：從像素圖到可搜尋可分析的向量表示

Thu, 23 Apr 2026 15:08:19 +0800

圖片一直很多，但圖片真正能被系統「理解」和「利用」，並不是一件自然而然就會發生的事。

對人來說，一張圖裡有沒有貓、是不是同一件商品、是不是某種異常缺陷，往往一眼就能看出來。可對系統來說，原始圖片首先只是像素排列。沒有額外處理時，它更像一堆顏色點，而不是一份可以直接拿來做檢索、分群、推薦和識別的資料。

圖像向量化解決的就是這一步。它把原本以像素形式存在的圖片，轉換成一組可以被機器高效比較和計算的向量表示。很多「以圖搜圖」、相似圖片推薦、視覺檢索、圖像聚類和多模態理解，真正的底層都在這裡。

一、圖像向量化到底是什麼

先把概念壓成一句話：

圖像向量化，就是把圖片轉成一串能表示圖像特徵的數字向量。

這個向量通常不是給人看的，而是給模型和檢索系統用的。它的價值在於，圖片從此不再只是檔案，而變成一種可以參與計算、排序和相似度比較的資料物件。

例如一張貓的照片，原始檔案裡保存的是像素資訊；做完向量化之後，系統拿到的是一個固定長度的數值向量。這個向量不會直接寫著「這是貓」，但它會把輪廓、紋理、顏色分布、局部結構、語義資訊等特徵編碼進去。這樣系統就能拿它去和其他圖片做距離計算，判斷哪些更相似，哪些差得更遠。

所以圖像向量化真正改變的，不是圖片本身，而是圖片被系統處理的方式。

二、為什麼不能直接用原始像素做檢索和分析

原始像素當然也能算，但效果和效率都很受限。

問題主要有三類：

資料維度高，直接比較成本很高
像素接近不等於語義接近
光線、裁切、背景、解析度變化都可能干擾結果

最典型的例子就是商品圖檢索。兩張商品圖片就算拍攝角度不同、背景不同、尺寸不同，人看時還是知道它們是同一類商品；但如果只是逐像素比對，系統很容易把它們判成完全不同的圖片。

向量化的意義，就是把「像不像」從像素層面的比較，提升到更接近語義和特徵層面的比較。

三、圖像向量化一般是怎麼做出來的

從流程上看，圖像向量化通常不是一步完成，而是一條比較標準的處理鏈：

先做前處理
再提取圖像特徵
把特徵壓成固定長度向量
存進向量庫或檢索系統

其中每一步都會影響最後效果。

1. 前處理

前處理一般包括：

縮放圖片尺寸
歸一化輸入
去除部分噪聲
統一顏色或輸入格式

它的目的不是「讓畫面更好看」，而是讓後面的模型輸入更穩定。

2. 特徵提取

這裡是圖像向量化的核心。

早期方法更依賴人工設計特徵，例如 SIFT、SURF、HOG 這一類演算法，擅長提取邊緣、角點、局部結構等低層特徵。現在更常見的是用深度學習模型來做這件事，例如：

ResNet
VGG
Inception
ViT
CLIP

這些模型會把圖片編碼成更高層、更抽象的視覺特徵。和傳統特徵工程相比，它們更擅長表達語義，也更適合做相似度檢索、多模態理解和大規模聚類。

3. 向量生成

特徵提取之後，系統通常會把中間表示進一步壓縮成固定長度的向量，例如 512 維、768 維、1024 維。

這一步的關鍵，不是維度越高越好，而是要在表達能力、儲存成本和檢索速度之間找到平衡。

4. 儲存與檢索

向量生成之後，通常不會再像普通圖片檔那樣管理，而是會進入支援向量檢索的系統，例如：

Faiss
Milvus
具備向量能力的搜尋系統

這時圖片就可以參與近似最近鄰檢索、聚類分析和相似度排序。

四、技術路線是怎麼演進的

圖像向量化不是這兩年才有，只是近幾年效果和應用場景擴展得更快。

大致可以分成三段來看：

1. 傳統特徵工程階段

這個階段的重點是人工定義圖像特徵，例如邊緣、紋理、角點和局部描述子。優點是成熟、可解釋，缺點是對複雜場景和語義理解能力有限。

2. CNN 主導階段

卷積神經網路讓圖像向量化進入自動學習特徵的階段。和手工特徵相比，它能學到更複雜、更穩定的視覺表示，適合分類、識別和相似檢索。

3. Transformer 和多模態階段

這一步把圖像向量化從「看圖特徵」進一步推向「圖文語義對齊」。像 ViT 和 CLIP 這類模型，已經不只是拿來識別圖片本身，而是在讓圖片進入更大的多模態系統裡，和文字、標籤、知識庫一起工作。

這也是為什麼現在很多圖像檢索系統，不只是「以圖搜圖」，而是已經能做「文本搜圖」或圖文混合檢索。

五、它最常見的應用場景有哪些

圖像向量化並不是只服務於學術研究，它在業務裡非常實用。

1. 相似圖片檢索

這是最直觀的場景。

系統把圖片轉成向量之後，就可以做：

以圖搜圖
重複圖片識別
相似商品匹配
視覺去重

電商、內容平台、素材管理系統裡，這類需求都很常見。

2. 推薦系統

很多推薦問題，本質上都是「這張圖和使用者剛看過的內容像不像」。

向量化之後，系統可以把圖片內容本身也納入推薦邏輯，而不是只依賴文字標籤或人工分類。對商品推薦、內容推薦和廣告匹配來說，這一步很有價值。

3. 圖像聚類和自動分類

當圖片規模很大時，人工整理會非常慢。

向量化之後，可以先按相似度把圖片自動聚成若干組，再做：

圖片歸檔
場景分組
素材整理
自動標籤建議

這在製造、醫療、教育和媒體內容管理裡都很常見。

4. 異常檢測和質檢

如果「正常樣本」已經能被穩定向量化，那麼偏離正常分布的圖片就更容易被識別出來。

典型場景包括：

工業缺陷檢測
監控異常識別
票據或影像異常篩查

這裡向量化的作用，不是直接給出最終判斷，而是先把圖像變成適合比較和建模的輸入。

5. 多模態檢索和圖文理解

這是現在更值得關注的一塊。

當圖像和文字都能被編碼到相近的向量空間裡，系統就可以做：

文本搜圖
圖文對齊
圖像內容檢索
多模態知識檢索

這類能力和現在很多生成式 AI、視覺問答、企業知識庫增強檢索都能接起來。

六、企業落地時真正要面對哪些問題

圖像向量化聽起來很順，但真正落地時，難點通常不在「知不知道這個概念」，而在下面這些細節：

1. 向量維度和成本怎麼平衡

維度太低，表達不夠；維度太高，儲存和檢索成本就會上升。這個問題沒有統一答案，必須結合資料規模、回應時間和準確率一起看。

2. 模型效果能不能跨場景複用

一個模型在公開資料集上表現不錯，不代表它在你的業務圖片上也一樣有效。商品圖、工業圖、醫學影像、監控截圖，這些分布差異很大，很多時候都要重新評估。

3. 檢索系統能不能跟上規模增長

當圖片量從幾萬變成幾百萬、幾千萬時，向量生成只是前半段，後面的索引、召回、更新策略和線上查詢能力，才是真正決定體驗的部分。

4. 圖像向量化不是業務閉環本身

這一點特別容易被忽略。

向量化解決的是「把圖片變成可計算物件」的問題，但它不等於完整方案。後面你還需要：

檢索邏輯
標籤體系
結果評估
人工校驗流程
和業務系統的連接方式

如果這些沒有接上，向量本身並不會自動產生價值。

七、怎麼看它的實際價值

如果只看技術定義，圖像向量化像是一個底層術語；但從業務角度看，它的價值其實很具體：

讓圖片第一次具備可搜尋性
讓相似度比較從像素層走向語義層
讓圖像能接進推薦、檢索、聚類和識別鏈路
讓視覺資料真正進入企業分析和自動化流程

可以把它理解成視覺資料進入 AI 系統的「標準化入口」。沒有這一步，很多圖片相關能力都只能停留在檔案管理層；有了這一步，圖片才開始變成能參與決策和自動化處理的資料資產。

結語

圖像向量化不是一個孤立的小技巧，而是現代視覺系統裡非常基礎的一層。

它做的事並不神祕：把圖片從「像素集合」變成「可檢索、可比較、可分析的向量表示」。但就是這一步，決定了圖片能不能真正進入 AI、搜尋、推薦和多模態應用鏈路裡。

如果只記一句話，可以先記住這個判斷：

圖像向量化的本質，不是壓縮圖片，而是把圖片變成機器真正能用的資料表示。

如何建立與使用 Skills：SKILL.md 規範與實戰原則

Sat, 28 Mar 2026 16:30:00 +0800

本文聚焦兩個問題：

SKILL.md 應該怎麼寫，結構如何設計。
如何寫出高品質、可維護、可重用的 Skills。

1. SKILL.md 規範詳解

SKILL.md 是一個技能的核心描述檔。它通常由兩部分組成：

YAML Frontmatter：定義技能中繼資訊。
Markdown 正文：定義執行說明與實作方法。

1.1 Frontmatter 示例

---
# === 必填欄位 ===
name: skill-name
# 技能的唯一識別符，建議使用 kebab-case 命名

description: >
  簡潔但精確地說明：
  1) 這個技能做什麼
  2) 什麼時候應該使用它
  3) 核心價值是什麼
# 注意：description 通常是智能體選擇技能的關鍵依據，必須寫清楚

# === 可選欄位 ===
version: 1.0.0
allowed_tools: [tool1, tool2]
required_context: [context_item1]
license: MIT
author: Your Name <email@example.com>
tags: [database, analysis, sql]
---

1.2 正文建議結構

# 技能標題

## 概述
（技能介紹、適用場景、技術背景）

## 前置條件
（執行環境、依賴項、權限要求）

## 工作流程
（分步驟說明：輸入、處理、輸出）

## 最佳實踐
（經驗總結、注意事項、常見陷阱）

## 示例
（典型任務示例，便於快速上手）

## 故障排查
（常見問題與解決方案）

2. 撰寫高品質 Skills 的原則

結合官方文件與社群實踐，建議遵循以下四條原則。

2.1 Description 要精準

description 是技能匹配的關鍵入口，建議做到：

明確適用範圍，避免「幫助處理資料」這類泛化描述。
包含觸發關鍵詞，便於匹配使用者意圖。
說明獨特價值，與其他技能形成邊界。

不佳示例：

`1`	`description: 處理資料庫查詢`

推薦示例：

description: >
  將中文業務問題轉換為 SQL 查詢，並分析 MySQL employees 示例資料庫。
  適用於員工資訊查詢、薪資統計、部門分析、職位變動歷史等場景。
  當使用者詢問員工、薪資、部門相關資料時使用此技能。

2.2 模組化與單一職責

一個 Skill 應聚焦一個明確任務域。若一個 Skill 試圖覆蓋過多能力，通常會導致：

Description 變寬，匹配精度下降。
指令變長，增加上下文負擔。
維護與迭代成本上升。

建議將「通用大技能」拆分為多個專用技能，例如：

mysql-employees-analysis
sales-data-analysis
user-behavior-analysis

2.3 確定性優先

對於複雜且要求精確的任務，優先採用「腳本執行」，不要完全依賴 LLM 文字生成。

例如在資料匯出場景，與其讓 LLM 直接生成 Excel 二進位內容，不如使用專用腳本處理；SKILL.md 只需說明觸發條件與調用方式。

2.4 漸進式揭露

將資訊按重要性和頻率分層，避免無效上下文占用：

SKILL.md 主體：核心工作流與常用模式
附加文件（如 advanced.md）：進階用法與邊緣場景
資料文件：大型參考資料，透過腳本按需讀取

總結

高品質 Skills 的目標不是「寫得多」，而是「邊界清晰、觸發準確、執行穩定、可持續維護」。

從規範化 SKILL.md 開始，再結合單一職責與漸進式揭露，你就能構建出更高效的技能體系。

普通人如何指揮 AI 幹活：從圖片中提取圖形與數學公式（實戰示例）

Thu, 26 Mar 2026 00:00:00 +0000

前提條件

安裝 VS Code，並安裝 Codex 外掛，可參考這篇文章。
使用這些工具並不要求你有程式設計經驗。VS Code 在這裡主要用於整理檔案；你只需提出需求，AI 就會自動編寫程式並執行。
本文記錄完整操作過程，目的是拋磚引玉，探索更多 AI 的實用方法，讓更多普通人受益。

任務目標

準備一張同時包含數學公式與示意圖形的圖片：

我們希望實現三件事：

將圖形切分成乾淨的小圖。
識別公式並轉換為 LaTeX，方便後續修改。
將圖形與對應公式建立關聯。

過程

先識別圖片，生成 Markdown 文件，並將公式轉換為 LaTeX

轉換結果：

# 1.png 識別結果

## 幾何公式（LaTeX）

1. 三角形面積（邊長與外接圓半徑）：

$$
S = \frac{abc}{4R}
$$

2. 三角形面積（內切圓半徑與半周長）：

$$
S = pr
$$

3. 圓台體積：

$$
V = \frac{\pi\left(r^2 + Rr + R^2\right)h}{3}
$$

4. 圓台側面積：

$$
S = \pi a(R + r)
$$

5. 圓柱體積：

$$
V = \pi r^2 h
$$

6. 圓柱側面積：

$$
S = 2\pi rh
$$

7. 球體積：

$$
V = \frac{4}{3}\pi R^3
$$

8. 球表面積：

$$
S = 4\pi R^2
$$

9. 正弦定理：

$$
\frac{a}{\sin A}=\frac{b}{\sin B}=\frac{c}{\sin C}=2R
$$

10. 餘弦定理：

$$
a^2=b^2+c^2-2bc\cos A
$$

$$
b^2=a^2+c^2-2ac\cos B
$$

$$
c^2=a^2+b^2-2ab\cos C
$$

公式都被識別出來了，AI 還自動補充了公式名稱，效果很好；但此時還沒有完成小圖裁剪。

嘗試讓 AI 裁剪圖片

# 1.png 識別結果（圖文並排，精修裁圖）

<table>
  <tr>
    <td>![](crops/01_triangle_circum.png)</td>
    <td>

$$
S = \frac{abc}{4R}
$$

</td>
  </tr>
  <tr>
    <td>![](crops/02_triangle_incircle.png)</td>
    <td>

$$
S = pr
$$

</td>
  </tr>
  <tr>
    <td>![](crops/03_frustum.png)</td>
    <td>

$$
V = \frac{\pi\left(r^2 + Rr + R^2\right)h}{3}
$$

$$
S = \pi a(R + r)
$$

</td>
  </tr>
  <tr>
    <td>![](crops/04_cylinder.png)</td>
    <td>

$$
V = \pi r^2 h
$$

$$
S = 2\pi rh
$$

</td>
  </tr>
  <tr>
    <td>![](crops/05_sphere.png)</td>
    <td>

$$
V = \frac{4}{3}\pi R^3
$$

$$
S = 4\pi R^2
$$

</td>
  </tr>
  <tr>
    <td>![](crops/06_laws.png)</td>
    <td>

$$
\frac{a}{\sin A}=\frac{b}{\sin B}=\frac{c}{\sin C}=2R
$$

$$
a^2=b^2+c^2-2bc\cos A
$$

$$
b^2=a^2+c^2-2ac\cos B
$$

$$
c^2=a^2+b^2-2ab\cos C
$$

</td>
  </tr>
</table>

結果：圖片已經裁剪並放到了對應位置，但仍有干擾區域，裁剪邊緣不夠乾淨。

修正「裁切過度」問題：先盡量保留完整圖形，再手工去除多餘部分
這一步的效果還不穩定，目前不確定是提示詞問題，還是模型在視覺定位上的波動。

總結

使用 Codex 和直接在 chatgpt.com 對話，體驗明顯不同。
在 chatgpt.com 中，更像是 AI 在引導你完成工作；而在 Codex 中，更像是 AI 按照你的要求去執行工作。
當你提出需求後，AI 會生成程式、執行程式並完成任務，你會更明顯地感受到「自己在指揮 AI 幹活」。
整個流程對程式設計基礎要求並不高，普通人也可以逐步上手並產出成果。