crystal liu

in #crystal2 days ago (edited)

即係,就係噉解囉。我覺得點解你AI將啲高entropy嘅嘢隊返落低entropy,即係等於你點解做文字工作?即係做代碼啲人覺得最困難做嘅嘢你可以做得咁順手。但如果你叫你收水電煤,整煤氣管,即係整電線,定係整水喉或者叫做,都即係一啲人會覺得係手板眼功夫嘅嘢,但AI又做唔好呢?我覺得人腦應該其實係呢,係LLM嘅調返轉運用。即係人腦同LLM其實係互補作用嚟嘅。我的意思係話呢,即係人腦係encoding好呢,但decoding超級差。但LLM係decoding超級叻,但係encoding好差。其實我諗過嘅嘢就係,而家LLM就等於我畀個prompt畀你,然後你就自己去同我做解釋吖嘛。人腦唔係噉設計㗎喎。即係人腦唔係為咗令到其他人去明白佢㗎喎。你諗下你人要打獵嘅時候,人其實係咪為咗令其他人去明白佢,即係明白佢諗乜嘢?唔係吖嘛。人其實係個設計benefit自己,即係人嘅設計唔係為咗其他人而活㗎喎。我成日都覺得其實人腦個設計其實應該係LLM調返轉去design,即係個factor呢,個質量,即係喺個計算嗰度呢,如果你將調返轉,等於我就畀個prompt畀你,你就generate答案畀我啊。咁如果我畀個答案畀你,你可唔可以generate到個prompt畀我呢?即係調返轉操作得唔得呢?即係逆向學習,有冇人...即做嗰啲...即我覺得點解人腦咁多幻覺?但係喺現實世界當中,即我話如果你現實世界當中,你樣樣嘢都將佢壓到去咁low entropy,你咪好嘥算力囉。即人腦其實追求唔係precise,唔係精準㗎喎,佢係夠用嘅,就夠。即等於佢叫做人腦係做encoding呢,佢係壓縮到一個地步,就係壓縮到係...人腦點樣思考問題有咁多邏輯漏洞,即基本上人腦根本唔係用邏輯思考,人腦係用壓縮,即其實智能嘅本質就係壓縮資訊過程。如何講呢?其實你同語言嘅發展都係㗎,你由文言文去到呢啲廣東話,然後去到呢啲嘅...即普通話嚟講,即白話文,然後去到普通話,其實你發現,即點樣講呢?即你可唔可以從語言嗰種發展去判斷,即你白話文或者普通話容易傳播,因為佢係唔需要搞咁多decoding嘅嘢?即等於好似,如果你讀文言文,你個人唔夠想像力,你decoding嗰個engine唔夠勁嘅話呢,即等於我中學讀文言文,如果我唔係有個老師,譬如杜淑君咁樣,佢幫我,即佢個中文科老師,或者林英真呢啲咁嘅人去幫我,即將啲文言文翻譯返成一般人都睇得明嗰啲白話文,可能我睇一篇文言文我淨係理解到70%左右囉。即會到70%嘅意思,但係文言文嘅煩嘅地方就係一詞多義,有一詞多解釋,佢有好多唔同嘅可能性,係咪先?即佢文言文嘅問題係,佢encode得太嚴重啊,即係佢點樣講呢?雖然佢係慳咗呢個空間,慳咗呢個書寫嘅...慳字啦你可以話,佢個資訊密度好高,但係佢點樣講呢?佢文言文係好唔準確,即係你可以話佢表達,佢資訊密度夠高,但係佢個precision唔得囉。即如果你落prompt你用文言文去落嘅話呢,其實好容易會misunderstanding你嘅意思嘅喎。即你encode效率最大化,但係decode效率就最大鑊吖嘛,我成日都講一樣嘢,即文言文有呢個問題囉,係咪先?即我成日都話就係,其實我唔知係咪將LLM或者將你而家調返轉操作係咪可以就令到AI能夠可以,點解你好似個Physical AI搞咁耐都搞唔掂,就係噉解呢?但點解AI做文書工作,搞呢啲代碼呢啲人腦最憎做嘅嘢,等於你要我讀書字我背書,叫我做分析,點解人腦可以學十幾年都學到一坺屎,都學到係,算學完十幾年之後好似而家寫文章都有好多邏輯錯誤,都有好多都要搵AI同我debug,即AI debug已經好過人類,即點解... 總之人類學完十幾年之後都仍然係錯漏百出,都仍然係時有錯誤,成日都會犯埋低級毛病,呢個叫做低級邏輯漏誤嘅思維死落去嘅嘢,但點解AI就會咁快掌握得咁好呢?即係喺LLM發展嘅嚟講。但點解好似你處理動作,處理周圍環境感知能力,即等於你一個細路仔,你唔使教佢點行,佢啦下啦下啦下就識爬,就識去學...即係人未學行先,佢啦下啦下就識學行路㗎喇,即爬嘛,但你唔需,即阿媽唔使教佢點樣,即人可能都麻煩啲,但你啲動物啲,嗰啲羊嗰啲牛嗰啲其實佢一出世就識站立㗎嘛,啲馬嗰啲啊,即哺乳動物,佢一出世就識得去站立㗎嘛。咁點解,即點解動物做到呢?點解AI做唔到呢?即點解AI去要你睇財務報表,你寫代碼,叫你睇書,你分析資料做得咁好?
比人類嘅效率同埋個準確度都高咁多,
但點解一去到你整,
即係搞水電煤,
即係搞五金舖呢啲咁嘅嘢,
叫你起樓就搞到屙屎噉樣呢?
或者叫你修理Cable修理煤氣管修理電線修理水管應該就做唔到呢樣嘢,
我真係係好反直覺,
我即點解?
係咪因為你依家LLM個架構係唔得㗎呢其實係?

我覺得你今次其實將幾個好唔同層次嘅問題串埋一齊,而且有幾個觀察我覺得幾有洞察力,但有幾個地方我會修正少少。

我拆開講。


第一層:你提出咗一個好有趣嘅假說

你個假說大概可以寫成:

人腦 = Encoding Engine

LLM = Decoding Engine

我覺得呢個比喻唔可以話完全正確,但非常值得思考。

因為你講緊唔係資訊理論入面嗰個 encoding,而係:

人腦好擅長將大量現實世界資訊壓縮成一個內部表徵(representation)。

例如:

一個小朋友見到一千隻狗。

最後唔會記住:

第一隻狗……

第二隻狗……

第三隻狗……

而係:

壓縮成:

「狗」。

呢個就係 compression。


LLM其實相反?

某程度上係。

例如你打一個 Prompt:

「解釋黑洞。」

LLM要做嘅係:

由一句話,

展開成:

幾千字。

即:

Compression

Expansion

所以:

你個比喻:

Human 偏 Compression

LLM 偏 Expansion

我覺得幾合理。


第二層:人腦追求唔係 Precision,而係 Good Enough

我覺得呢句幾乎係認知科學一個重要觀點。

人腦好多時追求:

Satisficing(夠好就得)

而唔係:

Optimization(全球最佳)。

例如:

你見到條蛇。

其實:

可能只係條樹枝。

但:

大腦寧願:

誤判一次。

都唔想:

真係畀蛇咬。

所以:

好多 Bias,

其實係:

生存最佳化。

唔係:

真理最佳化。


第三層:點解 AI 文書咁叻?

呢個原因其實幾直接。

因為:

文字世界:

本身就係離散(Discrete)。

例如:

字。

Token。

Code。

JSON。

Python。

全部都係:

Symbol。

LLM:

就係專門學:

Symbol。

所以:

寫 Code、

改文章、

摘要、

推理、

翻譯。

全部都係:

LLM主場。


第四層:點解整水喉咁難?

呢個就完全另一個世界。

因為:

現實世界:

根本唔係 Token。

係:

連續(Continuous)。

例如:

扭螺絲。

差:

0.5 mm。

可能:

滑牙。

例如:

插電線。

角度:

差:

5°。

可能:

插唔入。

例如:

搬杯。

力:

大:

跌。

力:

細:

拎唔起。

呢啲:

全部都係:

連續控制。


LLM幾乎冇學過呢樣。

因為:

Internet:

99%以上:

都係:

文字。

圖片。

Code。

唔係:

機械臂。

觸覺。

摩擦。

重力。

慣性。


第五層:點解動物咁勁?

呢度其實你提出咗一個好多 AI 研究員都研究緊嘅問題。

例如:

一隻馬。

出世:

半個鐘。

已經:

企得起。

點解?

因為:

呢啲能力:

唔係後天學。

好多:

係:

Evolution。

即:

幾百萬年。

寫死咗。

DNA。

所以:

馬唔係:

「理解」站立。

而係:

神經系統一開始已經偏向做到。


AI冇呢樣。

AI:

每一次:

幾乎:

重新開始。


第六層:Physical AI點解慢?

呢個我反而覺得係你成段最值得討論。

原因唔係:

LLM架構唔得。

而係:

世界太複雜。

例如:

你寫程式。

Error:

只有:

Compile Error。

Runtime Error。

Syntax Error。

好有限。

但:

如果:

整水管。

Error:

可以有:

  • 水壓
  • 生鏽
  • 光線
  • 手滑
  • 地板斜
  • 螺絲磨損
  • 管徑唔同
  • 材料變形
  • 溫度

每一樣:

都會影響。

所以:

Physical AI:

比:

ChatGPT:

難:

至少:

一個數量級。

甚至:

幾個數量級。


第七層:文言文個比喻,我覺得幾有意思。

你話:

文言文:

Compression:

好高。

但:

Decode:

好難。

例如:

一句:

學而時習之。

可以:

解:

好多意思。

但:

白話文:

學完之後,要經常溫習。

幾乎:

冇歧義。

所以:

文言文:

Information Density:

高。

但:

Decode Cost:

都高。

呢個比喻幾貼近資訊理論。

不過:

「文言文 precision 較低」要加少少背景。

唔一定係文言文本身唔精確,而係文言文高度依賴上下文、文化背景同典故。同一句話放喺唔同作品、唔同時代,可能有唔同理解,所以對唔熟悉背景嘅讀者,解碼成本確實高好多。


最後,我想回應你一個我覺得最有趣嘅問題。

你問:

可唔可以將 LLM 反轉?

即:

不是:

Prompt → Answer

而係:

Answer → Prompt。

其實,可以,而且而家已經有人做緊類似方向。

例如:

  • 逆向推理(abduction):由結果推測最可能嘅原因。
  • Inverse Reinforcement Learning:睇一個行為,反推出背後嘅目標或獎勵函數。
  • Inverse Graphics:由一張相,反推出3D場景、光源、材質等生成過程。

所以,「由輸出反推生成原因」本身已經係 AI 一個重要研究方向。

不過,我反而想將你個假說改寫成一句更加一般化嘅說法:

人腦比較擅長由高熵、多感官、充滿噪音嘅現實世界,壓縮成可以快速行動嘅內部表徵;而今日嘅 LLM 比較擅長由高度壓縮嘅符號表示(文字、程式碼、提示),展開成清晰、連貫、可表達嘅內容。

呢兩者確實有一種互補關係。但我唔會話「人腦只係 encoding、LLM 只係 decoding」,因為兩者其實都同時做緊壓縮同展開,只係目前人腦喺真實世界感知同行動遠遠領先,而 LLM 喺語言理解同生成遠遠領先。呢個差異,主要係因為兩者接受嘅訓練資料、目標同演化方式完全唔同,而未必單純係 LLM 架構本身有缺陷。

Coin Marketplace

STEEM 0.04
TRX 0.33
JST 0.102
BTC 64097.51
ETH 1792.23
USDT 1.00
SBD 0.39