與李開復談談:如果美國形成 AGI 霸權,我們應該怎麼辦?
李開復在訪談中探討,如果美國形成 AGI 霸權,中國可以採取甚麼應對方向。他亦談及 AGI 霸權與壟斷、海外科技巨頭的佈局,以及 AI 超級應用的崛起。
李開復在訪談中探討,如果美國形成 AGI 霸權,中國可以採取甚麼應對方向。他亦談及 AGI 霸權與壟斷、海外科技巨頭的佈局,以及 AI 超級應用的崛起。
張小珺與知乎創辦人兼 CEO 周源探討大模型浪潮下內容社區的處境,以及向人提問與向 AI 提問能否共存。對談亦談及知乎今年上線的 AI 搜尋產品知乎直答、AI 搜尋與搜尋引擎市場,以及這家內容社區 14 年的發展和上市後的掙扎。
CUHK 與 CPII 合辦「AI 倫理與治理講座系列:構建以腦為靈感的倫理 AI,促進人類與 AI 共生」,由 Yi Zeng 教授主講,Helen Meng 教授主持。講座於 2024 年 11 月 4 日以英語舉行,設現場參與及 Zoom 同步直播。
孟醒在訪談中回顧自己親歷的自動駕駛創投這8年,並談及離開滴滴、即將加入五源資本期間的職涯選擇。他也分享為何在不少人離開風投之際,選擇此時回歸。
王小川在返場訪談中談及 OpenAI o1 與強化學習,並以「學」和「思」分別比喻大模型的快思考與強化學習的慢思考。他認為兩個系統最終會走向融合,亦談到強化學習在醫療場景中的應用。
VS Code 團隊致力把更多外循環工作帶進編輯器,減少開發者切換工具,讓專注編碼的內循環更緊密。VS Code 的 Zen Mode 可隱藏部分介面;GitHub 整合讓開發者可在編輯器內處理 issues、進行 code reviews 和提交 PRs。GitHub 表示,GitHub Copilot 可提升編碼速度 55%,而使用 AI 的開發者中有 75% 感到更有滿足感。
前 OpenAI 研究員吳翼從強化學習角度解讀 o1,並分享他對 OpenAI 的內部觀察。吳翼表示,o1-preview 在用戶使用端進行大規模推理,令他感到意外;節目亦談及預訓練可挖掘的「金礦」。
張小珺商業訪談錄第3集邀請孟醒,探討特斯拉FSD進化史及自動駕駛技術距離日常生活還有多遠。特斯拉V12版本和端到端架構自去年下半年以來帶動新一波自動駕駛熱潮。孟醒自2019年起出任滴滴自動駕駛COO,近期重返風投行業,擔任前沿科技投資人。
樓天城在訪談中談及 Robotaxi、無人駕駛發展簡史及自動駕駛路線之爭,並提出「L2做得越厲害,離L4越遠,反之亦然」的觀點。他亦表示,當自動駕駛超越人類,數據會變成幹擾項,並非越多越好。
Beren Millidge 回顧主動推理研究,指出它與強化學習及「控制即推理」框架高度相似,兩者的差異主要在於獎勵如何編碼進機率圖模型。將主動推理擴展至小型強化學習任務後,所得結果與深度強化學習相近;可擴展性取決於生成模型的參數化方式,而非主動推理範式本身。
節目邀請小鵬汽車董事長兼 CEO 何小鵬,探討大模型如何改造自動駕駛,以及他對中國大模型公司和工程落地的看法。過去1年半,他讓團隊閲讀論文,三度到訪美國,試駕 Tesla FSD 和 Waymo,並拜訪黃仁勳。
Google 用戶體驗機器學習總監 Ovetta Sampson 將「最低可行數據」定義為能充分代表最終用戶及業務的數據,並強調 AI 的力量在於輸入數據。她指出,AI 輸出的質素有 99.9% 取決於輸入數據。產品團隊應評估數據是否公平、優質,並判斷 ML 和 AI 是否適合解決問題,以及會否帶來人類參與風險。
Perplexity 聯合創辦人兼 CEO Aravind Srinivas 希望打造鼓勵好奇心的知識應用,讓用戶不怕被評判,提出任何問題。Perplexity 以「答案引擎」整合網絡資訊,提供答案及來源,並在回答後列出三條相關問題。
Icon 聯合創辦人兼 CEO Jason Ballard 認為,AI 與 3D 打印建築機械人有望令建屋更快捷、成本更低。Icon 的 Vitruvius 開放 beta 版目前可透過聊天介面生成室內外效果圖和平面圖,未來計劃加入施工文件、預算及時間表。
節目訪問李志飛,談出門問問熬過12年後在港交所上市,以及前沿科技創業的經歷與痛苦。節目亦評論 GPT-4o、Google AI助手及字節模型降價等近期 AI 進展。
作者認為,AI 對齊能力可能比模型能力更容易學習,亦能更穩健地泛化。文中從 reward model 的訓練方式、處理不確定性的差異、判斷與生成的理論複雜度,以及人類發展和行為等方面,提出支持這一觀點的理由。作者同時指出,如何確定要灌輸給 AI 的價值仍是未解問題。
金沙江主管合夥人朱嘯虎在訪談中分享對大模型與 AIGC 的看法,提出卷出 200 多個大模型未必有意義,並強調 AIGC 需要盡快變現。他認為,團隊規模由十人增加至一百人,也未必能找到 AIGC 的產品市場契合點;部分公司缺乏應用場景和數據,估值卻很高。
百川智能創始人兼 CEO 王小川接受訪談,闡釋中國 AGI 在技術與市場、理想與現實之外的第三種可能。他將立場概括為「理想上慢一步,落地上快三步」,並提出 TPF(Technology-Problem Fit,技術與行業現存問題相契合),與朱嘯虎談應用、楊植麟談技術的側重不同。
真格基金的戴雨森和季逸超談及 OpenAI 發佈 Sora 後,如何從人才、算力和數據等方面拼湊相關資訊。兩人亦討論 Google 推出開源模型 Gemma,以及國內大模型生態和進展。
Beren Millidge 認為,印度要求部署任何生成式 AI 模型前先獲批准的規定範圍過廣,類似監管若擴及其他國家,長遠可能損害安全並鞏固現有企業的地位。他主張避免大幅拖慢發展或阻礙開源模型,並為前沿模型建立透明、獨立的審核機制。監管應聚焦具自我複製能力的自主智能體、前沿模型審核,以及逐步處理濫用造成的危害。
月之暗面創始人兼 CEO 楊植麟在訪談中談大模型創業這一年,分享他對人類理想、非共識想法及 Sora 的看法。月之暗面去年10月推出智能助手 Kimi,投後估值超過25億美元。訪談主要部分於2024年1月完成,並於2月因 OpenAI 發佈 Sora 補訪。
Replit 市場及設計副總裁 David Hoang 討論 AI 如何改變創意工具、設計與產品開發,並指工程與設計正逐漸融合為緊密相連的工作領域。Replit 聚焦人工開發者智能(ADI),而非 AGI,目標是提升用戶的自主性和生產力;ADI 亦可協助程式碼生成及團隊協作。
Beren Millidge 回顧 2023 年的思想變化,表示自己對 AI 安全及對齊的看法較以往樂觀,並認為現有 LLM 和擴散模型的對齊基本已解決或即將解決。強大 LLM 和擴散模型的開源及普及,帶來更多 AI 進展與對齊的新觀察。 他指出,主要風險在於具自主驅動的通用智能體,以及經濟自動化令人類逐漸過時。
Figma透過年度「Little Big Updates」聚焦改善既有功能及修正錯誤,讓用戶常用操作更順暢。例子包括改善貼上位置,以及在切換畫框時更易選取文字;新一輪更新加入「select and copy from version history」,讓用戶直接從版本記錄選取及複製內容。這項更新約以10行程式碼完成,可省下用戶重做以為已遺失工作的數小時。
Beren Millidge 認為,至今幾乎每次開源模型發布都對 AI 對齊進展有淨正面作用,未來也很可能如此。研究人員需要接觸模型權重並自由修改,才能動手測試和改進對齊方法;許多重要研究在大型實驗室以外進行,開源模型讓更多學者和愛好者得以參與。
Figma 首席產品總監 Yuhki Yamashita 描繪 Figma 與 Adobe 在設計及創意流程上的未來協作構想,包括把 Adobe Substance 3D 資產連結至 Figma、多人協作 3D 設計,以及用 Firefly 生成背景和延展圖片。構想亦涵蓋將可運作的 app 原型放進發布影片並自動更新、共享設計系統,以及在 Figma 使用 Adobe 字體。
Runway 梳理 Gen-2 的發展路徑,從以輸入影片控制輸出結構的 Gen-1,推進至直接以文字引導影片生成的 Gen-2。Runway 最近更新模型,支援以任意起始影格生成影片;公司把生成兩小時電影作為長期目標,構想是以生成模型逐場迭代完成,而非靠單一提示詞生成整部電影。
凱文·凱利接受訪問,回答50個問題,涵蓋寡頭、平台、網絡秩序、人工智能,以及科技與國界等議題。訪問在他帶新書《寶貴的人生建議:我希望早點知道的智慧》到訪中國期間進行;他著有《失控》《科技想要甚麼》和《必然》,曾預言互聯網的走向。
小冰 CEO 李笛認為,只做大模型而不追求商業模式很難生存。今年上半年大模型受到熱捧時,他選擇沉默和苟活,因為覺得難以與狂熱者或冷靜者交流。
Beren Millidge 認為,過度採用資訊危害規範會造成可預見的失效模式,並主張除特殊情況外一般不應使用。只有在有強實證支持某想法能大幅提升能力、適用於大規模實際 ML 系統、尚未為 ML 社羣合理知悉,且不會對安全與能力產生不同影響時,才應稱之為資訊危害。保密會阻礙批評和實證檢驗,也可能令人高估想法的新穎性與效力,並令資訊危害主張成為地位競逐的工具。
John Maeda認為,AI擅長高效率地選擇低風險路徑,創意工作則需要人類擁抱挑戰、探索非慣常方向。AI可處理大量投影片、設計樣稿和修圖等重複工作,或可讓設計師騰出更多時間思考新的問題。
深度學習的可訓練性與泛化能力,或與模型架構塑造的損失景觀幾何有關;Beren Millidge 提出個人且具推測性的解釋。初始化、正規化、梯度裁剪及 Adam 等方法,有助維持適合 SGD 的方差範圍。深度網絡透過可重用、可組合的電路共享子計算;文中以啟發式方式指出,深度 D、寬度 W 的網絡可用 W × D 計算量並行表示 W^D 個電路。
Beren Millidge 認為,透過大型多模態模型的短視無監督預訓練,再以涵蓋廣泛任務的強化學習培養通用能力,當前類 LLM 智能體的對齊有望以直接、穩健的方式解決。預訓練或能形成涵蓋人類道德與對齊概念的內部表徵,讓強化學習以這些概念為基礎學習獎勵函數和策略。他認為,這大致是近期高對齊系統的預設發展路徑,但仍有未解問題。
Jeff Boudier 與 Writer 聯合創辦人兼 CTO Waseem Alshikh 對談,探討 Writer 運用 Hugging Face 處理複雜生成式 AI 用例。
真格基金合夥人劉元在訪談中談到黑客松復興,以及參與 AI 黑客松時感受到的人類失落之意。他亦談及 AI 應用層創業的投資疑慮、護城河,以及即刻做 AI 孵化器的幕後情況。
特倫斯·謝諾夫斯基在英文播客中談及大腦、模型與人類的愛,並回顧深度學習的發展。他提到,連接主義與符號主義曾是勢力懸殊的兩個學派,並形容:「我們就是AI的萊特兄弟。」
北森(09669)赴港上市後股價腰斬,節目邀請其早期投資人熊飛,回顧這宗曲折 IPO 及中國企業服務業近兩年的挑戰。熊飛認為,大模型行業「iPhone 時刻來了」,但開源的「Android 時刻」還沒到;開源正逼近引爆大模型浪潮的關鍵時點。
提示詞工程的主要價值在交易式提示:以軟件高頻處理特定問題,追求更準確地取得預期結果並降低成本。它較適合資訊抽取、分類等有客觀答案的任務;對創作等主觀任務,則只能提高輸出獲接受的可能性,難以達到同等確定性。作者認為,智能體的使用主要具交易式特徵,因此亦可應用提示詞工程。
傅盛在訪談中從 AI 變革談起,分享對大模型普及化的判斷,以及創業、恩怨與心性的經歷。他認為,大模型技術會由高精尖走向普及,並將誕生「平民化大模型」。他亦談到過去三年面對企業危機和市值下滑時的心情與轉變。
人類的享樂適應迴路表明,強化學習智能體的價值與策略可以動態調整,並在改變時維持表現和行為連貫。文章指出,相較於最大化目標,若能穩健編碼並維持,滿意化目標可能更安全。為強化學習演算法加入穩態控制迴路,或可讓外部系統靈活調整智能體追求的目標。