21. 投資人視角下的大模型與市場真實水温|與夢秋聊 ChatGPT
《商業訪談錄》與清流資本創始合夥人、前百度技術副總裁夢秋對談,探討 ChatGPT、AI 和大模型,以及新一輪巨頭革命與格局重置的可能。夢秋談到,AI 正快速發展,但截至目前投資人的投資標的其實不多,訪談亦討論這種落差與一級市場的真實情況。
《商業訪談錄》與清流資本創始合夥人、前百度技術副總裁夢秋對談,探討 ChatGPT、AI 和大模型,以及新一輪巨頭革命與格局重置的可能。夢秋談到,AI 正快速發展,但截至目前投資人的投資標的其實不多,訪談亦討論這種落差與一級市場的真實情況。
Beren Millidge認為,神經網絡的內部表徵大多近乎線性,若能找出線性方向,便可控制、組合及推理這些表徵。他列舉模型編輯、線性探測和模型合併等支持線性表徵的證據,但指出網絡並非完全線性,表徵重疊仍是機制層面理解網絡的難題。
作者認為,預測編碼近似反向傳播的理論關係在實際上價值有限,相關假設亦大幅削弱其生物合理性。這些研究未能有效解答大腦如何進行信用分配;作者主張探索不近似反向傳播、但仍能訓練深度神經網絡的算法。
前 Google 亞洲區 CMO 王懷南談 ChatGPT 與 Google 的緊急應戰,並從自己的赴美留學和職業經歷回溯一段美國往事。這段歷史串連 Sam Altman、陸奇、Satya Nadella 和 Jeff Weiner 等人,節目將 ChatGPT 的演化與這段往事連在一起。
Beren Millidge 主張,AI 對齊不會靠單一完美方案實現,而應結合多種獨立、並行的方法,以提高整體安全性。這些方法分為對齊、限制能力和遏制三方面,包括 RLHF、限制運算資源、沙盒隔離及持續監控。評估方法時,應考慮成本、失效相關性,以及各方法能否互補。
Beren Millidge 認為,以 boxing 限制 AGI,或可減慢遞迴自我改進並在模擬中測試對齊程序,但他不再認為這種做法在實際上可行。原因不是技術限制,而是人們未必會妥善使用甚至嘗試 boxing;作者指出,將 LLM 連接互聯網和工具已相當容易,競賽動態亦令 AGI 預設可能直接接入互聯網。
Beren Millidge 回顧自己在 2022 年的知識進展,包括離開學術界、加入 Conjecture 擔任研究主管,並轉向 AI 安全研究。他表示,自己對對齊、LLM 訓練及可解釋性有了更深入的理解,AI 時間線也大幅縮短,現估計強超人類 AGI 約 3-10 年內出現。部分學術成果包括兩篇論文獲 ICLR 接收。
Beren Millidge 認為,對獨立同分佈數據進行監督式學習時,梯度駭客極難形成;在理想化的梯度下降下,甚至可能無法長時間存在。梯度下降會同時、獨立地更新所有參數,並沿局部最陡下降方向調整,因此難以被梯度駭客利用。相較之下,遺傳算法及 Metropolis-Hastings 等只尋找有效下降方向的優化器更容易受到梯度駭客影響。
對 Shard Theory 的機器學習解讀將 shards 視為相對鬆散耦合、各自實現過往獲獎勵行為的子網絡。現有可解釋性研究的證據不一:CNN 的電路較緊密交織,Transformer 則有較獨立電路的跡象,但相關表徵仍未充分理解。幾乎沒有研究檢視具一定規模的策略梯度網絡內部處理。
文章主張,AGI 難以依靠預先固定的效用函數處理複雜目標,實際上必須使用透過學習建立的效用或獎勵模型。這類模型可根據環境或人類設計者提供的狀態—效用配對數據訓練,令智能體的效用函數會受自身經驗影響;作者承認未能確定證明固定效用函數不可行。
阻止 FOOM 或可令 AI 對齊更容易:限制 AGI 的自我修改、硬件改動及資源累積,可約束其最佳化能力,降低代理目標失效及突破隔離的風險。文章認為,阻止 FOOM 比對齊任意最佳化能力的智能體更可行,並提出以負面獎勵和正則化限制相關行為。FOOM 是否可能出現,則取決於自我改進的回報能否維持超線性。
Beren Millidge 回顧 2021 年的研究與學習進展,認為這一年延續了 2020 年累積的成果,但研究生產力和智識發展速度較慢。期間,他深入理解 predictive coding、model-free RL、Hopfield networks 和 free energy principle,並發表首篇 ICML 論文 Universal Hopfield Networks。
同理心可能不是為了社會效益而獨立演化的認知能力,而是哺乳類認知架構中習得獎勵模型的自然結果。世界模型若把自身與其他相似個體的相同行為編碼得相近,獎勵模型便可能把自身經驗的獎勵泛化至他者,形成「原型同理心」。演化可進一步擴展或抑制這種能力,例如排除羣體外成員。
antirez花兩年創作的首本科幻小説《Wohpe》已在意大利實體書店、Amazon及其他數碼商店推出。他認為寫作及重讀選作範本的書,讓他逐漸掌握自己的風格和判斷作品的能力。意大利小型或中型出版社出版、獲得不錯成績的科幻書,銷量為500本;多數書籍銷量不足100本。
Hugging Face 研究科學家 Sasha Luccioni 在訪談中談及她對機器學習模型與數據集的倫理、社會影響及環境足跡研究。她擔任 Big Science Workshop 碳足跡工作組共同主席,探討電子郵件排放與製造成本等環境影響,並參與數據整理和多語言工作,避免語料過度偏重英語。
Hugging Face 第 2 部分 SaaS 專題彙集 Salesforce、Amplitude 等企業機器學習主管的觀點,聚焦 ML 的應用效益、落地挑戰與未來發展。
Hugging Face《Machine Learning Experts》專訪 Lewis Tunstall,談其 Transformers 工作及新書《NLP with Transformers》。他介紹 Transformers library 可將 PyTorch 模型匯出為 ONNX 格式,讓工程師進一步降低延遲、提高吞吐量。
Andrew Ng 認為,擴大模型和數據仍適用於部分問題,但不少實際應用應轉向系統地改善數據。以製造業視覺檢測為例,他指出 50 個精心設計的樣本可支援有價值的缺陷檢測;Landing AI 的做法包括協助客戶挑選圖像、保持標註一致,並針對問題補充數據。
Creative AI Conversations 2021 - 2022 收錄 Jia-Bin Huang、Soumyadip Sengupta、Rebecca Fiebrink、David Ha 和 Devi Parikh 的訪談。受訪者來自多所大學及研究機構,研究範疇涵蓋計算攝影、創意工具與機器學習,以及智能如何在資源有限的條件下出現。
Shunyu Yao 評析一篇探討語言模型能否從未經語義 grounding 的形式中習得意義的論文,指出論文認為,即使模型能查詢任意兩段文字是否具有相同語境意義,仍無法學會意義。論證以圖靈機停機問題為核心,但他認為,論文的設定與證明仍引出更多問題,未能直接回答實際語言模型如何從形式習得意義。
Sam Altman指出,與容易起步的初創企業相比,難度高的初創企業往往更容易成功。這類企業若成功便具價值,也能以有意義的使命吸引人才,助力招聘、獲取建議、建立合作及融資。作者建議創業者設定遠大願景、保留可行的下一步,並作長期投入。
ASTRI 網絡實體系統總監 Dr T. John Koo 在 HKEIA 於 2018 年 8 月 9 日舉辦的工作坊,分享 AI 在數碼製造領域的見解與經驗。Koo 討論模型為本系統工程(MBSE)如何推動製造業的 AI 創新;工作坊亦探討工業 4.0 和數碼工廠時代下,工業界快速自動化及數碼轉型的挑戰與機遇。
Sam Altman 澄清,他主張社會容許有爭議的觀點,並非要求實驗室容忍恐同且品行惡劣的人。他指出,不受歡迎的觀點可能促成科學進展與社會變革;禁止討論冒犯性議題有風險,但仇恨歧視言論與重要爭論之間的界線難以劃定。
Sam Altman認為,人類與機器的融合已經開始,是人類與 AI 共同演化的漸進過程,而非單一時刻。手機、社交媒體和搜尋引擎的演算法已影響人的行為、感受與想法。他預計超人類 AI、基因增強和腦機介面終將出現,並呼籲全球及早協調、認真應對。
ASTRI 行政總裁 Dr Frank Tong 接受《香港經濟日報》訪問,討論 AI 未來發展及「AI+」應用。「AI+」應用於身份管理、生物特徵認證、文字及語音識別等領域。Dr Frank Tong 指出,香港需要投資 AI 研發並推動跨行業商業化,以提升特區競爭力。
Airbnb 的 Jem Gold 分享了塑造其設計思路的 5 本書,主題涵蓋設計流程、冥想、人機協作、專注力及函數式編程。她表示,函數式編程改變了自己的設計流程,其組合思維亦可應用於設計系統;她偏好從最小原語逐步構建。
ASTRI 行政總裁 Dr. Frank Tong 獲邀出席由中國銀行(香港)舉辦的人工智能產業發展及應用研討會,分享見解。研討會匯聚中國及香港的專家,交流人工智能在金融業發展及應用相關議題的看法。
最多提供 50 頁,更早的內容請使用搜尋或主題頁。