Claude 公司 CEO 對 AI 未來的看法

Claude 公司 CEO 對 AI 未來的看法

Anthropic,也就是發佈 Claude 的公司,是由幾位 OpenAI 的早期員工共同創立,其 CEO Dario Amodei 在本月份發布了一篇文章 - Machines of Loving Grace

內容主要談論他看待 AI 的未來,全文很長,談的方向很廣,幾乎可以說無所不包的談 AI 將對世界帶來的影響,以下我摘要一些我自己覺得有道理的部分,也附上一部份自己的想法供大家參考。

他在這篇文章中主要談論他對 AI 將影響的五個面向作分享:

  1. 生物學和身體健康
  2. 神經科學和心理健康
  3. 經濟發展與貧困
  4. 和平與治理
  5. 工作和意義


先來一個小結論,我覺得他談論 1.2 兩項實立論是相對清楚的,至於 3-5,我個人認為他的論點無法說服我。

以下是我覺得可以分享的部分內容,有興趣的人到時自己看原文。

首先談到 AI 技術的進化,他認為兩個“極端”的立場可能都是錯誤的。

立場一:你可能會認為世界將在幾秒鐘或幾天的尺度上立即發生轉變(“奇點”),因為卓越的智慧建立在自身之上,幾乎立即解決了所有可能的科學、工程和操作任務。但現實是這仍存在真正的物理限制,例如圍繞構建硬體或進行生物實驗。即使是現在的 AI 技術也會遇到這些限制。

立場二:你可能認為技術進步是飽和的,或者受現實世界的數據或社會因素的限制,而比人類更有智慧的事物增加速度會很慢。實際則是 AI 會促使各類科學領域加快發展。

Gipi:簡單的說,你以為 AI 無所不能,其實他還是受到最基本的物理限制,可若你以為 AI 技術已經到頂了,但他其實還有無限可能。

在 AI 時代,我們應該談論智慧的邊際回報(marginal returns to intelligence),並試圖弄清楚能與智慧互補的因素是什麼,而當智慧非常高時,那些因素又會成為限制因素。

問「更聰明對這項任務有多大幫助,以及在什麼時間尺度上?」——這似乎是理解一個擁有強大 AI 的世界的正確方式。

我認為與智慧互補或限制的因素有以下幾項:

1.外界的速度。在科學中,通常需要按順序進行許多實驗,每個實驗都從上一個實驗中學習或建立在上一個實驗的基礎上。所有這些都意味著一個重大專案(例如開發癌症治療方法)的完成速度可能有一個不可降低的最低限度。即使智慧度不斷提高,也無法進一步降低。

2.需要數據。有智慧,有算力,但缺乏數據也沒有用。

3.內在複雜性。有些事物本質上是不可預測的或混亂的,即使是最強大的 AI 也無法比今天的人類或計算機更好地預測或解開它們。

4.來自人類的約束。許多人類社會結構效率低下,甚至有害,但在尊重臨床試驗的法律要求、人們改變習慣的意願或政府行為等約束的情況下,很難改變。

5.物理定律

Gipi:任何科技都有邊界,而這些邊界很可能是受限於世界的定律,例如物理限制,也可能是充分條件缺乏,例如數據,還可能是技術或科學研究上的瓶頸,例如內在複雜性或外界的速度。此外,當然還有法規跟人類對新科技的信任問題。

他接著舉了一個例子。

對細胞、動物甚至化學過程的實驗都受到物理世界速度的限制:許多生物方案涉及培養細菌或其他細胞,或者只是等待化學反應發生,這有時可能需要幾天甚至幾周,而且沒有明顯的方法來加快速度。動物實驗可能需要數月(或更長時間),而人體實驗通常需要數年(長期結果研究甚至數十年)。

這是關於外界的速度。

與此相關的是,數據往往是缺乏的——不是數量太多,而是品質:總是缺乏清晰、明確的數據,這些數據將感興趣的生物效應與正在發生的其他 10,000 種令人困惑的事情隔離開來,或者因果干預給定過程,或者直接衡量某些影響(而不是以某種間接或嘈雜的方式推斷其後果)。

這是關於缺乏數據。

即使是大量的定量分子數據,比如我在研究質譜技術時收集的蛋白質組學數據,也會產生嘈雜和遺漏很多(這些蛋白質在哪些類型的細胞中?細胞的哪個部分?在細胞週期的哪個階段?

這是關於內在複雜性。

除了在人體上運行實驗所需的內在時間之外,實際的臨床試驗還涉及大量的官僚主義和監管要求,增加了不必要的額外時間並延遲了進展。

這是來自人類的約束。

下面這一段他談論到過去 30 年一些關於生物學的重大發現。

首先,這些發現通常是由少數研究人員做出的,通常是同一個人重複進行的,這表明需要技巧而不是隨機搜索(後者可能表明冗長的實驗是限制因素)。

其次,它們通常“可能比實際時間早幾年製造”:例如,CRISPR 是自 80 年代以來就已知的細菌免疫系統中天然存在的成分,但又過了 25 年,人們才意識到它可以重新用於一般基因編輯。由於缺乏科學界對有希望的方向的支持,它們也經常被推遲很多年。

第三,成功的專案往往是雜亂無章的,或者是人們最初認為沒有希望的事後想法,而不是大量資助的努力。這表明,推動發現的不僅僅是大量的資源集中,還有獨創性。

Gipi:這一段我認為很重要,很多人在談論 AI 將完全取代人類,但AI 現階段是一個工具,高度仰賴數據來訓練,缺乏數據的狀況下,AI 其實會受到限制。如果一件事過去沒有發生過,沒被實驗過,就沒有留下數據,這時就需要有遠見的研究人員們去注入數據,讓 AI 得以在新的方向上運行。這也凸顯出這些做前沿研究的專家們的真實價值。
Gipi:但很現實的,我們多數人並非在做這種 AI 尚無法取得數據的工作,這類特權目前僅存在尖端科學家與研究員身上。

作者的基本預測是,人工智慧驅動的生物學和醫學將使我們能夠將人類生物學家在未來 50-100 年內取得的進步壓縮到 5-10 年。而且他認為以下幾件事很可能都會發生:

1.可靠地預防和治療幾乎所有自然傳染病。

2.消除大多數癌症。在過去的幾十年裡,癌症死亡率每年下降 ~2%;因此,按照當前人類科學的速度,我們正走在 21 世紀消除大多數癌症的軌道上。

3.對遺傳病的非常有效的預防和治癒。大大改進的胚胎篩選技術可能會使預防大多數遺傳病成為可能。

4.預防阿爾茨海默病。

5.改進了大多數其他疾病的治療。這是其他疾病的統稱類別,包括糖尿病、肥胖症、心臟病、自身免疫性疾病等。

6.生物自由度。過去 70 年的特點是節育、生育、體重管理等方面的進步。但我相信人工智慧加速的生物學將大大擴展可能性:體重、外表、繁殖和其他生物過程將完全由人類控制。

7.人類壽命翻倍。預期壽命在 20 世紀增加了近 2 倍(從 ~40 歲增加到 ~75 歲),受 AI 影響的 21 世紀會再次翻倍達到 150 歲是“趨勢”。

Gipi:困擾現代人的多數疾病,似乎都有望被解決。但我相信瓶頸點應該會發生在「人類的約束」。

上述是關於生物科學相關領域的思考,往下則是關於神經科學的部份。

在人工神經網路上做實驗比在真實神經網路上做實驗要容易得多(後者通常需要切入動物大腦),因此可解釋性很可能成為提高我們對神經科學理解的工具。(所謂的可解釋性指的是可以說明實驗過程變項與變項之間的關聯)

Gipi:簡單的說,過往的實驗,很多時候雖然完成了實驗,但因為模擬的次數太少,或者在整個實驗過程的節點不足,所以雖然產生了一個結果,但無法解釋過程,即便能解釋過程,也無法明確地指明是哪個變相影響了這個過程,但人工神經網路能部份解決這問題。

作者預期 AI 在神經科學領域將會往以下幾個方向發展:

1.傳統的分子生物學、化學和遺傳學。人工智慧可以幫助我們發明更多藥物。人工智慧也可能加速對精神疾病遺傳基礎的研究。

2.精細的神經測量和干預。這是測量許多單個神經元或神經元迴路正在做什麼,並進行干預以改變它們的行為的能力。

3.進階計算神經科學。可能揭示精神病或情緒障礙等複雜疾病的真正原因和動態。

4.行為干預。透過影響神經來影響你的行為,簡單的說,其實是透過科技來干預你的思維。

基於以上的假設,他也做出了以下預測:

1.大多數精神疾病或許可以治癒。包含創傷症候群、憂鬱症等。

2.重組大腦或者改造大腦成為可能。

3.對精神疾病進行有效的遺傳預防似乎是可能的。

4.各種情緒問題也可能獲得解決。例如易怒、注意力缺陷、莫名焦慮等等。

5.人類的心靈體驗升級。許多人都經歷了啟示、創意靈感、同情心、成就感、超越、愛、美麗或冥想平靜的非凡時刻。這些很多時候都影響人類一生,未來透過 AI,你有可能可以隨時這麼 high。

這一段落作者還提到了「mind uploading」,指的就是電腦中有個人掛掉前將自己所有的記憶上傳到一個數位大腦中,這應該就是每種程度的永生概念。

Gipi:我覺得這篇文章值得閱讀之處就到這,因為後面談論經濟、和平或其他面向的想像,立論不像他在上述兩個領域談到的具體。值得閱讀的 insight 很少。

我自己的想法是,AI 對自然科學的突破是非常顯著的,因為這些領域仰賴大量的實驗與運算,而且實驗過程的變因是「相對可控制」,但社會科學如經濟、國與國關係等,有許多不可控變因,AI 還是會有幫助,但可控性相對較低,可預期性自然也會下降。

所以各種推測都有可能,看著都有道理,但好像也沒說些什麼。

這篇文章看了好長一段時間,雖然用了 AI 幫忙翻譯,但很多地方翻完後還是不太理解意思,看了原文也有點沒看懂他想表達的意思,只有再回到上下文閱讀才比較能抓到他的意思。

所以裡頭也參雜一些我自己的解讀,有可能有偏誤,如果有人看到不同的角度,也麻煩分享一下,謝謝。

原文在此:https://darioamodei.com/machines-of-loving-grace

如果你覺得我內容寫得還不錯,歡迎訂閱我的電子報,我每雙週會發送一封電子報到你的信箱。訂閱連結在這,過往的電子報也在這:Gipi電子報

也鼓勵你可以將我的電子報分享給你認為有需要的朋友們,也許你的舉手之勞,將會改變另一個人的思維與習慣。

Read more

大語言模型對軟體開發的影響

大語言模型對軟體開發的影響

近期閱讀了一份文件,內容是關於大語言模型對軟體開發工作的影響,文件的連結在這:Assessing and Advancing Benchmarks for Evaluating Large Language Models in Software Engineering Tasks 這份文件聚焦於大型語言模型(LLMs)應用於軟體工程(SE)領域的效能評估。這是個有趣的題目,所謂的效能,簡單的說就是能直接在該工作任務中大幅增進效能的比例。 大家都知道現在的 AI 寫 code 已經不是什麼大不了的事,但透過 vibe coding 寫出來的 code 真的可以用嗎?符合需求嗎?品質可以嗎?能被維護嗎? 關於這些問題,我們要如何衡量 AI 的有效性呢?目前的答案是透過 Benchmark(基準)。 舉例來說,之前有的 benchmark 叫 SWE-bench,

By gipi
溝通,不是把能說服自己的話拿來說服他人

溝通,不是把能說服自己的話拿來說服他人

還記得幾年前有個朋友私訊給我說了一段趣事。 他說公司有個同事援引了我在演講中提到的一句話:「敏捷走不出研發,就不能真正敏捷。」 他試圖用這句話來告訴業務團隊們「業務必須要參與到敏捷中,開發團隊必須要更了解業務狀態,我們才能真正發揮敏捷的效益。」 我那句話的本質跟他說出來的話,在意義上其實毫無分歧。 但他獲得的結果卻是被業務部門修理了一頓。業務部門告訴他:「這不是你該管的範圍,你應該專注把你的任務搞定。」 這邊姑且不論誰的想法才是對的,但我想跟大家分享一個我在溝通過程很重要的體悟。 「所謂的溝通,不是把能說服自己的話拿來說服他人。」 「所謂的溝通,不是把能說服自己的話拿來說服他人。」 「所謂的溝通,不是把能說服自己的話拿來說服他人。」 很重要,所以得說三遍。 我們讀書總會讀到很多很有道理的話,並且被這句話說服了。但千萬要記得,這句話能說服自己,不意味著能說服他人。因為我們的立場不同,遭遇的挑戰不同,先備知識也不同。所以一段自己覺得非常有道理的話,我們必須加以轉換後,才有可能說服他人。 舉個例子來說,做研發的會希望根本的理解一個需求背後的商務價值,因為這

By gipi
Meta 高薪挖來的 AI 人才,一個月後紛紛離職 - 論薪資公平性

Meta 高薪挖來的 AI 人才,一個月後紛紛離職 - 論薪資公平性

最近兩天看到好幾個談論 Meta 人才跳槽的消息,甚至連七月份從 OpenAI 高薪挖角的高手,也在入職一個月後決定離開 Meta 重回 OpenAI。當時的高薪挖角引起了眾多同業 CEO 的抨擊,覺得這種以錢為誘因的做法對 AI 的推進沒有幫助,終將會失敗。 Sam Altman:「用金錢驅動招聘,這會破壞以使命為中心的工作文化,真正的長期回報在於共同願景而非一次性高額薪資。」Dario Amodei:「極高的薪資策略可能破壞組織文化,雖然能吸引人才,但未必能吸引與其價值觀一致、長期投入願景工作的員工。」我相 信願景真的很重要,那是凝聚一群優秀人才的關鍵因素之一。但高額薪資背後的問題是什麼? 除了 Dario Amodei 提到的,會破壞組織文化外,我覺得 Michael Dell 的詮釋更直接。 Michael Dell:「這種高額薪資極有可能引發內部員工的不滿與文化上的緊張感。」 一樣從事 AI 研發工作,我在公司內已經是頂天的存在,但我的年薪不過就 1,

By gipi
對情緒控管能力的反思

對情緒控管能力的反思

前陣子跟大家分享了我自己對「情緒管理」與「承壓能力」的反思。 假設我們試著量化一個人的情緒承載能力,如果這個數值是 100,只要超過這個數字時,人的情緒就會崩潰。 而多數時候,我們會將自己的情緒壓力控制在 100 分以下,如果要自在一點的話,可能在 60 分以下是比較輕鬆自在的狀態。而那些工作壓力較大,或者內耗特別嚴重的人,很可能長期處在 80-90 分的狀態。 如果一個人的情緒壓力愈接近 100,那情緒就愈難自控,很容易沒耐性、暴躁、坐立難安。 過往我總認為自己是將情緒壓力控制在 80 分以下,所以自己在高壓工作下其實有許多的餘裕。 但最近發現,我可能只是為自己上了 buff。 所謂的 buff 是個遊戲用語,在遊戲中,有時我們可能會拿到道具,或者被施了魔法,讓我們的能力項注射了腎上腺素一般有個很明確的提升。 例如提升力量 5 點,增加 30% 血量,實體攻擊無效等等。

By gipi