跳到正文
2023年4月8日週六
2023年4月4日週二
  1. Beren Millidge 研究博客(RSS)43

    深度學習模型內部其實(幾乎)是線性的

    Beren Millidge認為,神經網絡的內部表徵大多近乎線性,若能找出線性方向,便可控制、組合及推理這些表徵。他列舉模型編輯、線性探測和模型合併等支持線性表徵的證據,但指出網絡並非完全線性,表徵重疊仍是機制層面理解網絡的難題。

2023年3月30日週四
  1. Beren Millidge 研究博客(RSS)42

    對預測編碼未來的思考

    作者認為,預測編碼近似反向傳播的理論關係在實際上價值有限,相關假設亦大幅削弱其生物合理性。這些研究未能有效解答大腦如何進行信用分配;作者主張探索不近似反向傳播、但仍能訓練深度神經網絡的算法。

2023年3月14日週二
2023年2月19日週日
  1. Beren Millidge 研究博客(RSS)43

    對齊問題的解決方案是多種方法,而非單一方法

    Beren Millidge 主張,AI 對齊不會靠單一完美方案實現,而應結合多種獨立、並行的方法,以提高整體安全性。這些方法分為對齊、限制能力和遏制三方面,包括 RLHF、限制運算資源、沙盒隔離及持續監控。評估方法時,應考慮成本、失效相關性,以及各方法能否互補。

2023年2月15日週三
  1. Beren Millidge 研究博客(RSS)38

    為何作者認為「boxing」或許可行,但實際上不會採用

    Beren Millidge 認為,以 boxing 限制 AGI,或可減慢遞迴自我改進並在模擬中測試對齊程序,但他不再認為這種做法在實際上可行。原因不是技術限制,而是人們未必會妥善使用甚至嘗試 boxing;作者指出,將 LLM 連接互聯網和工具已相當容易,競賽動態亦令 AGI 預設可能直接接入互聯網。

2023年2月13日週一
  1. Beren Millidge 研究博客(RSS)25

    2022 年的知識進展

    Beren Millidge 回顧自己在 2022 年的知識進展,包括離開學術界、加入 Conjecture 擔任研究主管,並轉向 AI 安全研究。他表示,自己對對齊、LLM 訓練及可解釋性有了更深入的理解,AI 時間線也大幅縮短,現估計強超人類 AGI 約 3-10 年內出現。部分學術成果包括兩篇論文獲 ICLR 接收。

2023年1月21日週六
  1. Beren Millidge 研究博客(RSS)46

    梯度駭客極難形成並維持

    Beren Millidge 認為,對獨立同分佈數據進行監督式學習時,梯度駭客極難形成;在理想化的梯度下降下,甚至可能無法長時間存在。梯度下降會同時、獨立地更新所有參數,並沿局部最陡下降方向調整,因此難以被梯度駭客利用。相較之下,遺傳算法及 Metropolis-Hastings 等只尋找有效下降方向的優化器更容易受到梯度駭客影響。

2022年12月5日週一
  1. Beren Millidge 研究博客(RSS)29

    從機器學習角度解讀 Shard Theory

    對 Shard Theory 的機器學習解讀將 shards 視為相對鬆散耦合、各自實現過往獲獎勵行為的子網絡。現有可解釋性研究的證據不一:CNN 的電路較緊密交織,Transformer 則有較獨立電路的跡象,但相關表徵仍未充分理解。幾乎沒有研究檢視具一定規模的策略梯度網絡內部處理。

2022年11月26日週六
  1. Beren Millidge 研究博客(RSS)39

    AGI 將會學習獎勵模型

    文章主張,AGI 難以依靠預先固定的效用函數處理複雜目標,實際上必須使用透過學習建立的效用或獎勵模型。這類模型可根據環境或人類設計者提供的狀態—效用配對數據訓練,令智能體的效用函數會受自身經驗影響;作者承認未能確定證明固定效用函數不可行。

2022年9月30日週五
  1. Beren Millidge 研究博客(RSS)35

    為甚麼不直接阻止 FOOM?

    阻止 FOOM 或可令 AI 對齊更容易:限制 AGI 的自我修改、硬件改動及資源累積,可約束其最佳化能力,降低代理目標失效及突破隔離的風險。文章認為,阻止 FOOM 比對齊任意最佳化能力的智能體更可行,並提出以負面獎勵和正則化限制相關行為。FOOM 是否可能出現,則取決於自我改進的回報能否維持超線性。

2022年9月24日週六
  1. Beren Millidge 研究博客(RSS)26

    2021 年的智識進展

    Beren Millidge 回顧 2021 年的研究與學習進展,認為這一年延續了 2020 年累積的成果,但研究生產力和智識發展速度較慢。期間,他深入理解 predictive coding、model-free RL、Hopfield networks 和 free energy principle,並發表首篇 ICML 論文 Universal Hopfield Networks。

2022年8月21日週日
  1. Beren Millidge 研究博客(RSS)47

    同理心是習得獎勵模型的自然結果

    同理心可能不是為了社會效益而獨立演化的認知能力,而是哺乳類認知架構中習得獎勵模型的自然結果。世界模型若把自身與其他相似個體的相同行為編碼得相近,獎勵模型便可能把自身經驗的獎勵泛化至他者,形成「原型同理心」。演化可進一步擴展或抑制這種能力,例如排除羣體外成員。

2022年7月17日週日
  1. antirez 原創博客24

    寫作《Wohpe》

    antirez花兩年創作的首本科幻小説《Wohpe》已在意大利實體書店、Amazon及其他數碼商店推出。他認為寫作及重讀選作範本的書,讓他逐漸掌握自己的風格和判斷作品的能力。意大利小型或中型出版社出版、獲得不錯成績的科幻書,銷量為500本;多數書籍銷量不足100本。

2022年5月17日週二
  1. Hugging Face Blog42

    機器學習專家:Sasha Luccioni

    Hugging Face 研究科學家 Sasha Luccioni 在訪談中談及她對機器學習模型與數據集的倫理、社會影響及環境足跡研究。她擔任 Big Science Workshop 碳足跡工作組共同主席,探討電子郵件排放與製造成本等環境影響,並參與數據整理和多語言工作,避免語料過度偏重英語。

2022年5月13日週五
2022年4月13日週三
2022年2月9日週三
2021年9月2日週四
  1. Runway:News(網頁)22

    Creative AI Conversations 2021 - 2022:創意 AI 對談

    Creative AI Conversations 2021 - 2022 收錄 Jia-Bin Huang、Soumyadip Sengupta、Rebecca Fiebrink、David Ha 和 Devi Parikh 的訪談。受訪者來自多所大學及研究機構,研究範疇涵蓋計算攝影、創意工具與機器學習,以及智能如何在資源有限的條件下出現。

2021年4月24日週六
  1. Shunyu Yao:Blog38

    語言模型能否從未經語義 grounding 的形式中習得意義?

    Shunyu Yao 評析一篇探討語言模型能否從未經語義 grounding 的形式中習得意義的論文,指出論文認為,即使模型能查詢任意兩段文字是否具有相同語境意義,仍無法學會意義。論證以圖靈機停機問題為核心,但他認為,論文的設定與證明仍引出更多問題,未能直接回答實際語言模型如何從形式習得意義。

2020年2月27日週四
  1. Sam Altman:Blog38

    高難度初創企業

    Sam Altman指出,與容易起步的初創企業相比,難度高的初創企業往往更容易成功。這類企業若成功便具價值,也能以有意義的使命吸引人才,助力招聘、獲取建議、建立合作及融資。作者建議創業者設定遠大願景、保留可行的下一步,並作長期投入。

2018年8月15日週三
  1. ASTRI 應科院 · AI 研發及應用20

    ASTRI 研發專家在 HKEIA 工作坊分享 AI 數碼製造創新見解

    ASTRI 網絡實體系統總監 Dr T. John Koo 在 HKEIA 於 2018 年 8 月 9 日舉辦的工作坊,分享 AI 在數碼製造領域的見解與經驗。Koo 討論模型為本系統工程(MBSE)如何推動製造業的 AI 創新;工作坊亦探討工業 4.0 和數碼工廠時代下,工業界快速自動化及數碼轉型的挑戰與機遇。

2017年12月17日週日
2017年12月8日週五
  1. Sam Altman:Blog39

    人類與 AI 的融合已經開始

    Sam Altman認為,人類與機器的融合已經開始,是人類與 AI 共同演化的漸進過程,而非單一時刻。手機、社交媒體和搜尋引擎的演算法已影響人的行為、感受與想法。他預計超人類 AI、基因增強和腦機介面終將出現,並呼籲全球及早協調、認真應對。

2017年5月25日週四
2017年4月27日週四
  1. Figma AI / Agent / Make25

    塑造 Airbnb 設計科技師 Jem Gold 設計思維的 5 本書

    Airbnb 的 Jem Gold 分享了塑造其設計思路的 5 本書,主題涵蓋設計流程、冥想、人機協作、專注力及函數式編程。她表示,函數式編程改變了自己的設計流程,其組合思維亦可應用於設計系統;她偏好從最小原語逐步構建。

2016年8月30日週二

最多提供 50 頁,更早的內容請使用搜尋或主題頁。