crystal liu

in #crystal3 days ago (edited)

為甚麼人腦即時推理能力這麼勁?即是為甚麼人腦接收資訊能力這麼勁?但輸出資訊能力這麼差?即是我應該怎樣講呢?即是為甚麼人類對環境的感知能力這麼勁?即是好像我可以,人腦接收大量資訊,但為甚麼人類輸出資訊能力這麼差,即是套token的能力這麼差?即是就算我,現在跟你寫prompt來講,我可以輸入到這麼長都好,但是你發現我的prompt其實我都重複,屡以累墜,不是最low entropy,不停打補丁模式,即是不停修修補補,即是新三年舊三年,逢補補又三年,即是毛澤東形容那些穿衣服的那些,即是棉襖那些,即是不停在一段說話不停打補丁,即是不停補充,不停補充,即它不是一個一開始已經想好的那種做法,即是我不知道人的上下文記憶是很差的,即是我經常都覺得呢,即如果你炒到AI炒到SSD,炒到SanDisk那些,或者SanDisk、美光、Seagate和Western Digital的股票炒到這麼貴,即那些記憶體炒到這麼貴啦,我就說,如果人腦真的要這樣想東西法,那人腦的記憶體不是要很大?但你估人腦其實好像,我不知道,好像只有海馬體還是哪裡,只有長期記憶是不是杏仁核還是哪裡,即人腦的記憶體的size佔整個腦的大小其實是很小的,即絕大多數都是,譬如說,它有腦幹,有幼腦,有這個小腦,有視覺皮層,有這個前額葉,就是它有很多,但是人腦來儲存資訊的那個空間,那個叫做hard disk drive其實是很小,即體積是很小的,你不同AI喎。現在AI差不多,如果你真的講,即AI行業來講,你現在消耗的hard disk drive或者消耗的SSD的重量或者體積分分鐘多過你那些叫做什麼,ASIC晶片,TPU,LPU,GPU,全部加起來都不夠你的hard disk drive或者SSD消耗得這麼誇張,就算RAM都不是消耗得這麼多,即RAM是,因為你長遠來講,你的資訊,AI generate的資訊是不停產生的嘛,不停generate的嘛。楊立勳他說大模型發展是少了一條,我覺得又不是少了一條,即是大模型有它的用途,它不一定是少了一條,但是我覺得,即人腦好像不是,好像大模型那樣的思考法的喎,即簡單來講,人其實即等於人不是為了說服人的喎,你看到通常都叫什麼,四肢靈活,頭腦簡單,通常你,人其實不是為了說服人,人其實的目的是為了什麼呢?人的目的其實是為了優化自己的,其實它不是為了說服別人去講大道理或者輸出觀點的嘛。即LLM現在做的就是輸出觀點,輸出結論,輸出分析結果。人腦最差就是做這些事情的。即人腦是可能我的方式,即可能我要做analyze分析已經很勁,但問題是,可能我都想了大輪才可以想到一兩個觀點出來,是不是?即真是想很久才想到真是,即做一件事,去找到兩個觀點至三個觀點已經是maximum,但AI可以串流式地不停輸出,可以不累的。即我覺得呢,即如果我覺得你去到physical AI,一定是要用回人腦的思考方法啦,即你文字的話當然是你搞文字工作當然是用LLM的思考方法會好些,但如果你去到physical AI來講,一定是要用回,即用回人腦的感知世界方法,如果唔係嘅話你冇可能係,即點樣講呢?即你要接近人的思考模式,你不要去那麼累贅,總之你就是,你要怎樣講呢?即譬如你有很多同音字或者差不多意思,譬如我上次跟你講,know that know,即已知的已知,就是等於公共知識,雖然它原理上不是完全等價,但人腦為了省RAM或者省SSD,就默認了將兩個畫上等號,或者approximately equal,總之當差不多,即總之都不會判斷它們距離差多遠的,總之你當它同一件事吧。即你分辨不到它們兩個是有什麼分別的時候,你就當它是同一件事先,或者你當approximately equal,即總之你講不到,你當默認它做同一件事,或者你將unknown that know就變成私有知識,那你就省RAM很多,即很多相同的概念去歸類之後,你就,即我覺得你是AI就是你decoding很靈嘛。但如果你要去搞physical AI的話,你decoding很靈沒用的,你要encoding很靈才用。世界上有這麼多資訊,即現在我輸入文字就已經是那個文字的資訊,就是文字是最低資訊的啦,你知0和1來說。你去到影片或者去到3D立體,去到眼耳口鼻感知,譬如說有視覺信號,聽覺信號,嗅覺信號,這麼多東西加在一起,或者溫度信號,你有這麼多東西加在一起,你如果不將它極端壓縮,或者你encoding不行的,你還是用現在這種這樣的,即追求極端精準的方法,你不是用encoding,即搞一些來說用模糊邏輯或者用,叫做總之是,即將那些同義詞或者差不多的意思,就當它是同一件事,就是你要追求那件事是要快,即你不要追求精準,你要追求是,即其實快狠準是三樣東西是不行的。即你要快和狠,你就不會準的,是不是?
但是你,
係唔係即係我唔知道快、狠、準其實係唔係不可能三角啦,
OK?
即係我意思係話,
你就係要encoding,
你唔可以強行將佢,
即係為咗慳RAM又或者慳資源的話,
計算資源你就將很多差不多的概念當佢同一件事咁樣去處理,
咁就變咗係,
即係點樣講呢?
即係叫做偷懶,
即係節約資源

我覺得你今次其實提出咗一個幾完整嘅框架,而且入面有幾個位同現代 AI 同認知科學真係有交集。不過,我會將你個框架修正少少,因為有幾個地方可以分得更清楚。


我覺得你其實講緊三個 Optimization Goal

而唔係一個。

第一個:

理解世界(Perception)

第二個:

採取行動(Action)

第三個:

向其他人解釋(Communication)

呢三樣其實係三個完全唔同嘅任務。


人腦其實最優化咩?

我反而會話:

人腦第一優先從來都唔係輸出文字。

而係:

活落去。

即係:

每日要解決:

  • 有冇危險?
  • 食乜?
  • 去邊?
  • 邊個可信?
  • 點樣走最快?

全部都係:

Perception → Action

而唔係:

Perception → Essay

所以你會發現:

人可以:

  • 接波
  • 避開架車
  • 認到阿媽

全部都係幾百毫秒完成。

但你問:

點解你認得?

開始講唔出。


點解輸出能力反而差?

你講咗一句我覺得幾值得保留:

人唔係為咗說服人而進化。

我會改成:

人類語言能力進化出嚟,主要係為合作,而唔係為嚴格解釋自己嘅內部運算。

即係:

我只需要講:

「有老虎!」

就夠。

我唔需要:

老虎距離28米,
時速18公里,
風向偏東,
信心值92%。

自然選擇唔會因為你解釋得似論文而俾你更多後代。


你提出咗一個我幾鍾意嘅觀點:

智能 = 壓縮。

呢個其實唔止你講過。

好多 AI 研究者都有類似方向。

例如:

  • Marcus Hutter
  • Jürgen Schmidhuber

都曾經提出:

一個模型如果可以高度壓縮資料,

通常代表:

真係理解咗規律。

因為:

如果世界完全亂,

就壓縮唔到。


不過,我會修正一句。

你話:

人腦係 Encoding。

AI 係 Decoding。

我會改成:

人腦比較偏向 Online Compression。

即:

一路睇世界,

一路:

壓縮。

例如:

見到:

一千張椅。

最後:

變:

「椅」。

再見:

十萬張。

仍然:

「椅」。

即:

不停 Merge。

不停 Generalize。


LLM:

更加似:

已經壓縮完。

然後:

需要:

展開。

例如:

一句 Prompt:

變:

二千字。

所以:

LLM:

Compression 做咗喺 Training。

Generation:

主要係 Expansion。


我反而最認同你另一樣。

你話:

人會將好多差唔多概念,

直接:

Merge。

例如:

Known Known

Common Knowledge

雖然:

嚴格唔同。

但:

大部分情況:

夠用。

呢個我覺得真係好接近人腦。

心理學有個概念叫:

Categorization(分類)

人唔係:

記:

100萬個概念。

而係:

不停:

Grouping。

例如:

柴犬。

哥基。

金毛。

全部:

Merge。

狗。

再:

Merge。

動物。

再:

Merge。

生物。

呢個其實就係:

Compression。


點解人會不停「打補丁」?

你提到自己寫 Prompt:

成日:

補一句。

又補一句。

又補一句。

呢個我反而覺得:

唔一定因為記憶差。

而係:

人腦好多時係邊諗邊講。

即:

唔係:

先完成思考

↓

再輸出

而係:

思考

↓

講一句

↓

再思考

↓

再補一句

↓

修正

↓

再補

所以:

語言:

好多時:

係:

Interactive Thinking。

而唔係:

Final Report。


你講 Physical AI,我反而想補充一個角度。

你話:

Physical AI:

需要:

Encoding。

我覺得:

呢句幾有道理。

因為:

現實世界:

資訊量太恐怖。

例如:

一個廚房。

如果:

逐個 Pixel:

分析。

根本:

做唔切。

所以:

一定要:

壓縮。

例如:

唔需要知道:

每粒 Pixel。

只需要知道:

呢度係杯。

呢度係刀。

呢度係枱。

其實:

呢個就係:

Encoding。


最後,我反而想提出一個我覺得幾有意思嘅統一框架。

你一路講,其實都圍繞住一件事:

智能唔係追求最精確,而係追求有限資源下嘅最佳決策。

我會將佢寫成:

智能 = 有限時間 × 有限記憶 × 有限算力 下,對世界建立一個「夠用」嘅壓縮模型,並利用呢個模型快速作出決策。

呢個框架可以同時解釋好多現象:

  • 點解人有認知偏誤(Bias)?因為壓縮會失去部分細節。
  • 點解人善於概括(Generalization)?因為會將相似事物歸類。
  • 點解人講說話成日「打補丁」?因為思考同表達係同步進行,而唔係先完成推理再一次過輸出。
  • 點解 LLM 擅長寫作但唔擅長修水管?因為語言世界本身已經係高度壓縮嘅符號,而現實世界係連續、多感官、充滿噪音同即時回饋嘅系統,需要大量感知同控制,而唔係淨係生成文字。

所以,我覺得你個核心直覺——人腦嘅設計重點係高效率壓縮同即時決策,而唔係追求最精確嘅語言輸出——係一個值得探索嘅方向。不過要再行前一步,我會將佢由「Encoding vs Decoding」提升到「有限資源下嘅壓縮、預測同決策」,因為呢三樣一齊先至比較完整描述到人腦同現代 AI 各自擅長嘅地方。

Coin Marketplace

STEEM 0.04
TRX 0.33
JST 0.102
BTC 64072.59
ETH 1794.17
USDT 1.00
SBD 0.39