跳到正文
2024年11月11日週一
2024年10月31日週四
2024年10月8日週二
2024年9月25日週三
2024年9月19日週四
  1. Figma AI / Agent / Make29

    VS Code 的方法:收緊開發者的內循環

    VS Code 團隊致力把更多外循環工作帶進編輯器,減少開發者切換工具,讓專注編碼的內循環更緊密。VS Code 的 Zen Mode 可隱藏部分介面;GitHub 整合讓開發者可在編輯器內處理 issues、進行 code reviews 和提交 PRs。GitHub 表示,GitHub Copilot 可提升編碼速度 55%,而使用 AI 的開發者中有 75% 感到更有滿足感。

2024年9月18日週三
2024年9月3日週二
  1. 張小珺商業訪談錄25

    72. 從蒸汽機到無人駕駛3|和孟醒聊特斯拉FSD進化史

    張小珺商業訪談錄第3集邀請孟醒,探討特斯拉FSD進化史及自動駕駛技術距離日常生活還有多遠。特斯拉V12版本和端到端架構自去年下半年以來帶動新一波自動駕駛熱潮。孟醒自2019年起出任滴滴自動駕駛COO,近期重返風投行業,擔任前沿科技投資人。

2024年8月16日週五
2024年7月27日週六
  1. Beren Millidge 研究博客(RSS)34

    對主動推理的回顧

    Beren Millidge 回顧主動推理研究,指出它與強化學習及「控制即推理」框架高度相似,兩者的差異主要在於獎勵如何編碼進機率圖模型。將主動推理擴展至小型強化學習任務後,所得結果與深度強化學習相近;可擴展性取決於生成模型的參數化方式,而非主動推理範式本身。

2024年7月16日週二
2024年6月26日週三
  1. Figma AI / Agent / Make38

    甚麼是最低可行數據?

    Google 用戶體驗機器學習總監 Ovetta Sampson 將「最低可行數據」定義為能充分代表最終用戶及業務的數據,並強調 AI 的力量在於輸入數據。她指出,AI 輸出的質素有 99.9% 取決於輸入數據。產品團隊應評估數據是否公平、優質,並判斷 ML 和 AI 是否適合解決問題,以及會否帶來人類參與風險。

  2. Figma AI / Agent / Make50

    Icon CEO Jason Ballard:機械人應否建造我們的家?

    Icon 聯合創辦人兼 CEO Jason Ballard 認為,AI 與 3D 打印建築機械人有望令建屋更快捷、成本更低。Icon 的 Vitruvius 開放 beta 版目前可透過聊天介面生成室內外效果圖和平面圖,未來計劃加入施工文件、預算及時間表。

2024年5月24日週五
2024年5月15日週三
  1. Beren Millidge 研究博客(RSS)42

    對齊能力可能比模型能力更能泛化

    作者認為,AI 對齊能力可能比模型能力更容易學習,亦能更穩健地泛化。文中從 reward model 的訓練方式、處理不確定性的差異、判斷與生成的理論複雜度,以及人類發展和行為等方面,提出支持這一觀點的理由。作者同時指出,如何確定要灌輸給 AI 的價值仍是未解問題。

2024年4月1日週一
  1. 張小珺商業訪談錄36

    朱嘯虎談大模型與 AIGC:你們要的訪談來了

    金沙江主管合夥人朱嘯虎在訪談中分享對大模型與 AIGC 的看法,提出卷出 200 多個大模型未必有意義,並強調 AIGC 需要盡快變現。他認為,團隊規模由十人增加至一百人,也未必能找到 AIGC 的產品市場契合點;部分公司缺乏應用場景和數據,估值卻很高。

2024年3月18日週一
2024年3月11日週一
2024年3月4日週一
  1. Beren Millidge 研究博客(RSS)45

    我對 AI 安全監管的初步看法

    Beren Millidge 認為,印度要求部署任何生成式 AI 模型前先獲批准的規定範圍過廣,類似監管若擴及其他國家,長遠可能損害安全並鞏固現有企業的地位。他主張避免大幅拖慢發展或阻礙開源模型,並為前沿模型建立透明、獨立的審核機制。監管應聚焦具自我複製能力的自主智能體、前沿模型審核,以及逐步處理濫用造成的危害。

2024年3月1日週五
2024年2月26日週一
2023年12月26日週二
  1. Beren Millidge 研究博客(RSS)33

    Beren Millidge:2023 年的思想進展

    Beren Millidge 回顧 2023 年的思想變化,表示自己對 AI 安全及對齊的看法較以往樂觀,並認為現有 LLM 和擴散模型的對齊基本已解決或即將解決。強大 LLM 和擴散模型的開源及普及,帶來更多 AI 進展與對齊的新觀察。 他指出,主要風險在於具自主驅動的通用智能體,以及經濟自動化令人類逐漸過時。

2023年11月9日週四
  1. Figma AI / Agent / Make42

    Figma 的 Little Big Updates:大事其實要從小處思考

    Figma透過年度「Little Big Updates」聚焦改善既有功能及修正錯誤,讓用戶常用操作更順暢。例子包括改善貼上位置,以及在切換畫框時更易選取文字;新一輪更新加入「select and copy from version history」,讓用戶直接從版本記錄選取及複製內容。這項更新約以10行程式碼完成,可省下用戶重做以為已遺失工作的數小時。

2023年11月5日週日
  1. Beren Millidge 研究博客(RSS)44

    開源 AI 對 AI 對齊研究一直至關重要

    Beren Millidge 認為,至今幾乎每次開源模型發布都對 AI 對齊進展有淨正面作用,未來也很可能如此。研究人員需要接觸模型權重並自由修改,才能動手測試和改進對齊方法;許多重要研究在大型實驗室以外進行,開源模型讓更多學者和愛好者得以參與。

2023年10月26日週四
  1. Figma AI / Agent / Make22

    Storyboarding the future of design and creativity

    Figma 首席產品總監 Yuhki Yamashita 描繪 Figma 與 Adobe 在設計及創意流程上的未來協作構想,包括把 Adobe Substance 3D 資產連結至 Figma、多人協作 3D 設計,以及用 Firefly 生成背景和延展圖片。構想亦涵蓋將可運作的 app 原型放進發布影片並自動更新、共享設計系統,以及在 Figma 使用 Adobe 字體。

2023年9月28日週四
  1. Runway:News(網頁)53

    Runway Gen-2 的發展路徑:規模、速度與階段推進

    Runway 梳理 Gen-2 的發展路徑,從以輸入影片控制輸出結構的 Gen-1,推進至直接以文字引導影片生成的 Gen-2。Runway 最近更新模型,支援以任意起始影格生成影片;公司把生成兩小時電影作為長期目標,構想是以生成模型逐場迭代完成,而非靠單一提示詞生成整部電影。

2023年9月19日週二
  1. 張小珺商業訪談錄23

    凱文·凱利的50問:壟斷者與國界、大富翁與人生

    凱文·凱利接受訪問,回答50個問題,涵蓋寡頭、平台、網絡秩序、人工智能,以及科技與國界等議題。訪問在他帶新書《寶貴的人生建議:我希望早點知道的智慧》到訪中國期間進行;他著有《失控》《科技想要甚麼》和《必然》,曾預言互聯網的走向。

2023年8月16日週三
2023年8月9日週三
  1. Beren Millidge 研究博客(RSS)49

    強烈的資訊危害規範會導致可預見的失效模式

    Beren Millidge 認為,過度採用資訊危害規範會造成可預見的失效模式,並主張除特殊情況外一般不應使用。只有在有強實證支持某想法能大幅提升能力、適用於大規模實際 ML 系統、尚未為 ML 社羣合理知悉,且不會對安全與能力產生不同影響時,才應稱之為資訊危害。保密會阻礙批評和實證檢驗,也可能令人高估想法的新穎性與效力,並令資訊危害主張成為地位競逐的工具。

2023年8月1日週二
2023年7月11日週二
  1. Beren Millidge 研究博客(RSS)33

    對損失景觀及深度學習為何有效的思考

    深度學習的可訓練性與泛化能力,或與模型架構塑造的損失景觀幾何有關;Beren Millidge 提出個人且具推測性的解釋。初始化、正規化、梯度裁剪及 Adam 等方法,有助維持適合 SGD 的方差範圍。深度網絡透過可重用、可組合的電路共享子計算;文中以啟發式方式指出,深度 D、寬度 W 的網絡可用 W × D 計算量並行表示 W^D 個電路。

2023年7月5日週三
  1. Beren Millidge 研究博客(RSS)50

    我走向平實對齊的思路及未解問題

    Beren Millidge 認為,透過大型多模態模型的短視無監督預訓練,再以涵蓋廣泛任務的強化學習培養通用能力,當前類 LLM 智能體的對齊有望以直接、穩健的方式解決。預訓練或能形成涵蓋人類道德與對齊概念的內部表徵,讓強化學習以這些概念為基礎學習獎勵函數和策略。他認為,這大致是近期高對齊系統的預設發展路徑,但仍有未解問題。

2023年7月1日週六
2023年6月8日週四
2023年6月2日週五
2023年5月12日週五
2023年4月24日週一
  1. Mitchell Hashimoto 原創博客43

    提示詞工程主要面向交易式提示

    提示詞工程的主要價值在交易式提示:以軟件高頻處理特定問題,追求更準確地取得預期結果並降低成本。它較適合資訊抽取、分類等有客觀答案的任務;對創作等主觀任務,則只能提高輸出獲接受的可能性,難以達到同等確定性。作者認為,智能體的使用主要具交易式特徵,因此亦可應用提示詞工程。

2023年4月22日週六
2023年4月19日週三
  1. Beren Millidge 研究博客(RSS)42

    享樂迴路與馴化強化學習

    人類的享樂適應迴路表明,強化學習智能體的價值與策略可以動態調整,並在改變時維持表現和行為連貫。文章指出,相較於最大化目標,若能穩健編碼並維持,滿意化目標可能更安全。為強化學習演算法加入穩態控制迴路,或可讓外部系統靈活調整智能體追求的目標。