AI 畫的圖,為什麼手指常常怪怪的?

琥珀
琥珀AI 畫的圖很漂亮,仔細一看手指卻很奇妙。為什麼偏偏手這麼難呢?
30秒看懂答案
琥珀因為手雖然小,形狀卻非常複雜喔。

手在圖片裡通常只佔一小塊,但每根手指都能各自彎曲,手的形狀、方向和拿東西的方式也各不相同,還可能被身體其他部位擋住。研究人員說明,要從圖片和文字學會這麼複雜的手很困難,所以 AI 可能會畫錯手指的數量,或畫出彎向不可能方向的手指。

琥珀
琥珀那麼,接下來就詳細說明吧。
真人的手,左邊是手掌,右邊是手背
真人的手(左邊是手掌,右邊是手背)。每根手指都能各自彎曲。照片:Evan-Amos / CC BY-SA 3.0 / 維基共享資源

從雜訊一步步畫出圖

許多會畫圖的 AI,都使用一種叫做「擴散模型」的方式。根據 NVIDIA(電腦晶片公司)的技術文章,在訓練時,會把圖片一點一點加上雜訊(噪點)弄壞,再練習反過來把雜訊去掉。要畫圖時,會從像舊電視雪花畫面那樣充滿雜訊的圖開始,一點一點(例如每次 2%)去掉雜訊,反覆很多次。最後畫出什麼樣的圖,取決於訓練時用的圖片。

圖:擴散模型畫出圖的過程
一開始是充滿雜訊的圖去掉一點雜訊反覆很多次畫出一張圖

手常出現的錯誤

根據 2024 年發表的研究,從文字產生圖片的 AI,雖然能畫出像真實照片一樣的人,但手常常會變得不自然。常見的錯誤有:手指數量不對、手的形狀歪掉、手指彎向不可能的方向,以及拿東西的樣子很奇怪。

手很難畫的原因

研究人員列出了手很難畫的幾個原因。手在圖片中只佔很小的部分,但每根手指都能各自彎成各種角度。手的形狀、大小和方向也各不相同,還可能被身體其他部位擋住。而且,拿東西的方式會隨著物品的大小和形狀大幅改變。所以,即使是用數百萬張圖片訓練的 AI,也可能畫不好手。

圖:手很難畫的原因
手指太多的AI畫的手,以及捏東西、張開、被擋住等真實的手的各種樣子
  1. 1AI畫的手指數量不對的例子
  2. 2捏著東西的手
  3. 3張開手指的手
  4. 4被東西擋住一部分的手
  5. 5在畫中顯得很小的手(放大)
琥珀
琥珀我們每天都在用的手,原來這麼複雜,是不是有點意外呢?

修正手的研究

在這項研究中,研究人員先從文字做出身體和手的 3D 形狀與關節位置,再以此為線索來畫圖。實驗顯示,使用描述手部構造的資料,能畫出更自然的手。不過,要怎麼把手的資訊好好放進畫圖的系統裡,仍是研究人員還在努力的課題。

想知道更多

  • 擴散模型也是「Stable Diffusion」這個從文字產生圖片的系統的核心。
  • 研究人員指出,平常的文字指示很少寫到手的姿勢,這也讓手更難畫。
琥珀
琥珀在圖中很小、手指各自彎曲、拿法又千變萬化,所以手對 AI 來說很難。修正的研究也還在持續進行喔。

三選一小測驗

琥珀還記得剛剛讀的內容嗎?來挑戰看看吧!

AI 很難畫手的原因是?

看答案
  1. 手的顏色很難畫
  2. 完全沒有手的照片
  3. 在圖中很小,動作卻很複雜

在圖中很小,動作卻很複雜 手在圖片中只佔很小的部分,但每根手指都能各自彎曲,形狀、方向和拿法也各不相同。

參考資料
  1. HanDiffuser: Text-to-Image Generation With Realistic Hand AppearancesCVPR 2024(Computer Vision Foundation 掲載の査読論文)(英文)
  2. Generative AI Research Spotlight: Demystifying Diffusion-Based ModelsNVIDIA Technical Blog(英文)
  3. Explained: Generative AIMIT News(マサチューセッツ工科大学)(英文)

本文內容是在 2026-10-03 確認上列資料後撰寫的。隨著研究進展,說明也可能改變。照片的出處標示在各照片下方。

下一則冷知識 ▶

科技手機電池為什麼會越來越不耐用?是不是覺得電池比剛買的時候掉得更快了呢?很多人都有這種感覺。