2025年8月14日 星期四

ChatGPT-5 到底有多神?

      我從六月底開始著手草擬一本「AI 識讀」的書,目標讀者是一般讀者,尤其包括高中的師生、家長。原因是我警覺到 AI 有可能會為下一代起的青少年帶來遠遠超過社群媒體的危害(詳見我七月一日的部落格「年輕爸媽必須知道:聊天機器人是潛在的毒品」),而且我搜尋過的所有資料顯示國人對此極端欠缺警覺。之後我又翻閱了一堆中文與英文的書,聽了一堆台大、MIT、史丹佛的開放課程與演講,和 YouTube 上面許多頂尖學者的討論、演講。
     最後認定:想要用一本「AI 識讀」的書當教本(或參考書),在高中教師的引導下,讓高中生「掌握住跟 AI 互動的基本原理與技巧,並且破解一切迷思,協助他們防範未來跟 AI 互動過中有可能會發生的主要傷害」,必須要有「精準科普與跨領域科普」的實力和寫作專長。而我所聽過、讀過的書和演講都遠遠達不到這個訴求,甚至根本還沒有夠徹底地思索過「高中的AI識讀課該包含哪些主題、內容」這個起始點的問題。
      想了很久,我對「AI 識讀」這門課的基本要求牽涉到兩個鮮少有人具備的特殊能力:(1)精準科普(以後再找機會解釋這個詞),(2)跨領域同時深入人文、社會科學與 AI 學理的能力,以便在足夠寬廣且深入的視野下思索「AI 識讀」這門課的課綱。應該是因為兼具這兩項能力的人太少,所以我找到的課程、演講、科普節目通通讓我不滿意。
      最後,只好決定自己去寫一本這樣的書。

小小的心路歷程
      我在退休前開的課是「機械視覺」,更早以前研究過類神經網路、最佳化理論和影像處理,而且幫助業界成功地研發過好幾樣半導體產業的「焊點瑕疵自動檢驗」和「玻璃面板瑕疵自動檢驗」等技術,曾是當時業界爭相攬聘的研發顧問。
      在這基礎上,原本就已了解今日 AI 使用的手寫字跡識讀和影像識別等技術,要進一步掌握我以前沒研究過的大型語言模型(LLM)的核心原理,不是難事。然而第一個障礙卻是:包括MIT在內的課程,數學符號的使用經常違背 IEEE 與數學界的嚴格慣例,以至於我在聽開放課程時經常被誤導,搞不清楚真正的細節。
      接下來的問題是,國外許多人文與社會科學的學者在批判 AI 時不願意深入了解 AI 的原理,經常針對自己「望文思議」與想像中的 AI 在評論,結果有時候造成的誤導遠超過對問題的釐清。
     面對這麼複雜的問題,我真的有機會寫一本「AI 識讀」的書,讓高中教師與家長都看得懂,高中生可以在他們的引導下讀得懂,最後達成我所預期的「學會善用 AI,同時學會避免受害」嗎?
      歷經許多個睡不好的夜晚,終於想到一些說明的方法,在清大校園內找了一些高中生、大學生試教,成效良好!
      後來,一個出版社在線上會議問我關於 AI 的事,一小時的會議延長到幾乎欲罷不能,才講解幾十分鐘聽講者就紛紛忍不住說:「好希望老師的書早日出版。」
      我決定非把這本書寫完不可!

驚悚連連
     其實,如果 OpenAI 等科技巨頭可以徹底解決「幻覺」(hallucination,意指捏造事實,有如吃了迷幻藥或嚴重醉酒一般),以及錯誤、劣質的回答,我就不需要去寫「AI 識讀」這本書,大家也不需要去了解 AI 背後的原理,只需像使用超跑、電視、電腦等科技產品那樣地享受就好。
      問題是,AI 有太多根本的缺陷,像一台隨時會暴衝的超跑,或者電池隨時會爆炸的手機;而科技巨頭的投資又太龐大,因而必然會不顧 AI 的天生缺陷在市場上大力促銷各種產品,而不顧它們對使用者可能造成的誤導和傷害。
      所以,我必須先精準掌握 AI 的現況,知道它們的問答特徵,以及可能的潛在風險和傷害。
      萬萬沒想到,原本免費用戶主要只能使用 GPT-3.5 turbo,但是 GPT-4 已經大幅改善 GPT-3.5 所有最弱的項目。而且,我好不容易終於對 ChatGPT-4 的特徵有相當的掌握後,卻突然發現 ChatGPT-5 發表了,「幻覺」率降到幾乎是零!且號稱「在所有領域都有博士級的智慧」。
      「AI 識讀」這本書還有必要寫嗎?
     
GPT-5 試用心得
     正當 OpenAI 的免費試用期,我大大方方地試探過 GPT-5的能力極限,發現它依舊是「金玉其表,敗絮其中」。不但沒有博士級的智慧,連清大工學院的大學部水準都沒有。
      要仔細解釋上述結論,確實需要一本書,不是三言兩語或一篇部落格說得清楚的。
      看來「AI 識讀」這本書還是必需把它給寫完。 

附記:一個聯想
      這幾天的經驗常讓我想起  David Hilbert 和 Kurt Gödel 的故事。
      數學原本在十九世紀被視為絕不可能會錯的真理,到了十九世紀末卻連續出現非歐幾何(使得「三角形內角和等於幾度不再是自明,而是有待經驗實證的問題」)和無窮集合的各種詭論,以至於數學界徹底懷疑起可不可以根據「自明的公理」建立起永恆的真理。
      面對這個危機,數學博士胡賽爾離開數學界,歷經複雜的過程創立了現象學。而當時數學界不世出的宗師  David Hilbert 則提出 Formalism,認為數學的所有知識都必須被「定義」過和「公設化」過,才可以在這個「公設化的(axiomatic)」數學基礎上繼續發展出永恆的真理。
      當他認為這個公設化的數學基礎即將完成時,一個年僅24歲的數學系大五學生(德國制的大學念4+2年,等於大學部+碩士班)卻跟他的指導教授說:他可以證明 David Hilbert 的「公設化體系」必然是不可能的!結果這個天才學生(Kurt Gödel)果然很快地完成「不完全定理」的證明,並且在 1930年發表。
     當時 David Hilbert 年已 68歲,不可能再創人生另一個高峰。他感概地說:人生最悲慘的事,莫過於在你即將完全人生最偉大的事業時,卻被證明那個志業是不可能的(大意,已忘記原文)。