窮人的 AI：自動漫畫分鏡切割

 (試試看)

在手機上看漫畫時，有一個體驗上的問題：

• 漫畫原本是「整頁設計」

• 手機最適合的是「一格一格往下滑」

與其強迫使用者縮放、拖曳、放大，更直覺的做法是：

直接把一頁漫畫自動切成多個分鏡，轉成瀑布流閱讀。

這篇文章分享一個不靠深度學習、完全在前端完成的實作方式：

1. 使用 OpenCV.js 做分鏡偵測

2. 輸出 rect list

3. 再用 全畫面 Canvas 把每個分鏡當成一個「閱讀單位」

整個系統可以拆成三層：

漫畫圖片
   ↓
影像處理（找出 rects）
   ↓
排序後的 rect list
   ↓
全畫面 Canvas 逐格呈現（瀑布流）

---

Step 1：灰階化

漫畫的資訊 90% 都在線條上，顏色反而是干擾。

cv.cvtColor(src, grayImage, cv.COLOR_RGBA2GRAY);

灰階化的好處：

1. 降低維度

2. 對邊緣偵測更穩定

3. 對黑白漫畫特別有效

---

Step 2：邊緣偵測，抓出「分鏡的邊」

接下來用最經典、也最夠用的 Canny Edge Detection：

cv.Canny(grayImage, edges, 50, 150);

在漫畫中，分鏡外框通常就是最明顯的邊界。

---

Step 3：形態學操作，把破碎邊框「補起來」

真實漫畫的線條並不完美，常常有斷線、陰影、留白。

所以要做一個很重要的步驟：膨脹（Dilation）

const kernel = cv.Mat.ones(5, 5, cv.CV_8U);
cv.dilate(edges, dilatedEdges, kernel);

直覺理解就是：

把細線「抹粗一點」， 讓本來斷掉的邊界連成封閉區域。

這一步直接決定後面能不能成功抓到「一整格分鏡」。

---

Step 4：找輪廓，轉成矩形框（rect）

有了封閉區域之後，就可以找輪廓：

cv.findContours(
  dilatedEdges,
  contours,
  hierarchy,
  cv.RETR_EXTERNAL,
  cv.CHAIN_APPROX_SIMPLE
);

每一個 contour，代表一個「可能的分鏡區塊」。

接著轉成矩形：

const rect = cv.boundingRect(contour);
rects.push([rect.x, rect.y, rect.width, rect.height]);

並用面積過濾掉雜訊：

if (cv.contourArea(contour) > 5000) { ... }

---

Step 5：移除「被完全包住」的多餘 rect

實務上你一定會遇到這種情況：同一格分鏡，被抓出「一個大框 + 一個小框」。

這時不需要聰明演算法，只要幾何判斷：

function isFullyOverlapped(small, large) {
  return (
    x1 >= x2 &&
    y1 >= y2 &&
    x1 + w1 <= x2 + w2 &&
    y1 + h1 <= y2 + h2
  );
}

完全被包住的，直接丟掉。

---

Step 6：排序 rect，讓它「像是在看漫畫」

這一步非常關鍵，也非常不完美，但夠用。

rects.sort((a, b) => a[1] - b[1] || b[0] - a[0]);

意思是：

1. 先由上到下

2. 同一排由右到左

⚠️ 這不一定符合所有漫畫的分鏡語法，但在手機瀑布流閱讀中：

「大致合理」比「絕對正確」重要得多

 

---

到這一步，我們已經有：

[
  [x, y, w, h],
  [x, y, w, h],
  ...
]

每一個 rect，本質上就是一個「閱讀單位」

現在可以拿來作顯示了。

---

全畫面 Canvas 的好處，如果你把每個 rect：

1. 裁切成獨立圖片

2. 或在 Canvas 中單獨 render

3. 一個 rect = 一個 viewport

你會得到幾個好處：

✅ 天然支援瀑布流：使用者只需要滑，不需要縮放。

✅ 對不同螢幕尺寸友善Canvas：可以等比縮放到全寬。

✅ 分鏡順序錯一點也沒關係：因為使用者是「連續閱讀」，不是在解析作者構圖。

✅ 非常適合手機：這點真的差很多。

---

這套方法有一個很重要的前提：

我們只試圖改善呈現方式。

所以它：

❌ 不用深度學習

❌ 不用標註資料

❌ 不追求 100% 正確分鏡語法

✅ 快

✅ 可解釋

✅ 前端即可跑

對很多產品來說，這其實是更好的工程解法。

---

很多人一提到「漫畫分析」，就直覺想到 AI / Model / Training。

但實際上，只要簡單的影像處理就能作到90分，讓手機看漫畫更舒服。

這就是低科技，窮人的 AI 應用 ><

(試試看)