跳到正文
2022年8月17日週三
  1. Hugging Face Blog84

    Hugging Face Transformers、Accelerate 與 bitsandbytes 的大規模 8-bit 矩陣乘法入門

    Hugging Face 將 LLM.int8() 整合至 Transformers 與 Accelerate,透過混合 INT8/FP16 矩陣乘法降低大型語言模型推理所需的記憶體。

    推薦理由:文章串連 LLM.int8() 的離羣特徵處理、效能比較與 Transformers 整合細節,呈現 8-bit 量化降低大型模型記憶體需求的實作脈絡。

2022年8月12日週五
  1. Hugging Face Blog60

    Hugging Face 的 TensorFlow 設計理念

    Hugging Face 説明 Transformers 的 TensorFlow 設計取向,將模型和層設為 Keras Model 與 Keras Layer,讓使用者可直接調用 fit()、compile() 和 predict()。

    推薦理由:文章梳理 Hugging Face Transformers 對 TensorFlow 的六項設計取向,並以 Keras 訓練、資料管線、XLA 與部署示例,呈現這些取捨如何落實到模型訓練和部署流程。

2022年8月11日週四
2022年8月5日週五
2022年7月28日週四
2022年7月25日週一
2022年7月22日週五
  1. Hugging Face Blog49

    優勢 Actor-Critic(A2C)

    Hugging Face 深度強化學習課程第 7 單元講解 Advantage Actor Critic(A2C),以 Actor 和 Critic 結合政策式與價值式方法,降低 Reinforce 策略梯度估計的方差並穩定訓練。課程使用 Stable-Baselines3,在 PyBullet 機械人模擬環境訓練雙足步行者和蜘蛛智能體。

2022年7月16日週六
  1. Hugging Face Blog46

    MNIST 模型如何利用動態對抗資料訓練

    Hugging Face 的教學以 MNIST 手寫數字識別示範,如何動態收集人類生成的對抗樣本並用於模型訓練。示範模型訓練 20 epochs 後,在測試集準確率為 89%;用户可在 Spaces 畫布書寫 0-9,並標記能騙過模型的樣本。樣本累積至門檻後會用來再訓練模型,並重複多輪,以提高模型穩健性。

2022年7月13日週三
2022年7月12日週二
  1. Hugging Face Blog82

    BLOOM:全球最大型開放多語言大語言模型正式發佈

    BLOOM 已正式發佈,這款具 176 billion parameters 的開放多語言大語言模型可生成 46 種自然語言及 13 種程式語言文本。最後一輪訓練歷時 117 days,並公開訓練中間 checkpoint 與 optimizer states,供研究者下載、運行及研究。

    推薦理由:BLOOM 除模型外亦公開訓練中間 checkpoint 與 optimizer states,並提供下載及本地或雲端使用途徑,讓研究者能檢視模型行為與訓練過程。

2022年7月7日週四
  1. Hugging Face Blog42

    Twitter 情感分析入門指南

    Hugging Face 提供 Twitter 情感分析入門指南,示範適用於程式開發者與非程式開發者的操作流程。程式開發者可用 Tweepy 收集推文,透過 Inference API 分析正面、負面或中性情緒,並將結果視覺化;非程式開發者則可用 Zapier 分析推文,並將結果傳送至 Google Sheets。

2022年6月30日週四
  1. Hugging Face Blog47

    使用 PyTorch 實作策略梯度

    Hugging Face 深度強化學習課程第 5 單元以 PyTorch 從零實作 REINFORCE,並在 CartPole-v1、PixelCopter 和 Pong 測試其穩健性。策略梯度以梯度上升直接最佳化策略,毋須先學習價值函數;隨機策略可促進探索,在高維及連續動作空間中亦較有效。其限制包括可能收斂至局部極值、訓練時間較長及高方差。

2022年6月29日週三
2022年6月28日週二
  1. Hugging Face Blog65

    Hugging Face 推出 Evaluation on the Hub,支援免寫程式評估模型

    Hugging Face 推出由 AutoTrain 驅動的 Evaluation on the Hub,讓使用者無需編寫程式,即可用任意資料集與指標評估 Hub 上的模型。評估結果會提交至模型卡的 Hub pull request,平台亦提供排行榜,方便比較模型在不同資料集切分與指標上的表現。

    推薦理由:它讓使用者可在 Hub 選擇模型、資料集和指標,免寫程式完成評估;結果回寫模型卡,排行榜便於比較表現及重用評估設定。

2022年6月23日週四
2022年6月22日週三
2022年6月15日週三
2022年6月7日週二
2022年5月26日週四
  1. Hugging Face Blog45

    Graphcore 與 Hugging Face 推出新一批適用於 IPU 的 Transformers 模型

    Graphcore 與 Hugging Face 擴大 Hugging Face Optimum 的 IPU-ready Transformers 陣容,現提供涵蓋自然語言處理、語音及電腦視覺的 10 款模型。各模型附有 IPU 設定檔,以及可直接使用的預訓練和微調權重。開源函式庫 Hugging Face Optimum 提供針對 Graphcore IPU 最佳化的現成模型,方便開發者使用。

2022年5月25日週三
  1. Hugging Face Blog63

    Hugging Face Hub 推出 Pull Request 與 Discussions 協作功能

    Hugging Face Hub 推出 Pull Request 和 Discussions 協作功能,現已向所有模型、資料集及 Spaces 倉庫開放。社羣成員可在 Community 分頁提問、分享建議,並透過網站開啟、評論、合併或關閉 Pull Request。Pull Request 使用直接儲存在來源倉庫的自訂 refs,無需為模型或資料集的每個新版本建立 fork。

    推薦理由:Hugging Face Hub 以來源倉庫內的 refs 處理 Pull Request,免去為模型或資料集每個新版本建立 fork,呈現其針對 ML 倉庫簡化協作流程的做法。

2022年5月20日週五
2022年5月19日週四
  1. Hugging Face Blog37

    Hugging Face 多模態學習團隊將倫理原則置於研究生命週期核心

    Hugging Face 多模態學習團隊為研究項目制定倫理章程,把倫理原則納入機器學習研究生命週期。章程列明須防範歧視、侵犯私隱與權利、生成個人識別資料及有害虛假資訊,並警示醫療、法律、金融和移民等高風險用途。文件截至 2022 年 5 月仍在完善,倡議透明、開放可重現、公平、自我批判及尊重貢獻。

2022年5月18日週三
  1. Hugging Face Blog49

    Q-Learning 入門(第一部分)

    Hugging Face 深度強化學習課程第 2 單元第 1 部分講解價值型強化學習方法,為 Q-Learning 作鋪墊。內容説明狀態價值函數與動作價值函數,並比較蒙地卡羅學習和時間差分學習。本單元第二部分將介紹 Q-Learning 演算法,從零實作智能體,並在 Frozen-Lake-v1 及自動的士環境中訓練。

2022年5月17日週二
  1. Hugging Face Blog42

    機器學習專家:Sasha Luccioni

    Hugging Face 研究科學家 Sasha Luccioni 在訪談中談及她對機器學習模型與數據集的倫理、社會影響及環境足跡研究。她擔任 Big Science Workshop 碳足跡工作組共同主席,探討電子郵件排放與製造成本等環境影響,並參與數據整理和多語言工作,避免語料過度偏重英語。

2022年5月16日週一
  1. Hugging Face Blog70

    Gradio 3.0 正式推出,全面重設前端並加入 Gradio Blocks

    Gradio 3.0 正式推出,全面重設前端,並加入可在 Python 中構建自訂 Web app 的低階 Gradio Blocks API。前端採用 Svelte 等技術,文章稱載荷更小、頁面載入更快;Dataframe 經改良,並新增 Gallery 和 TabbedInterface。

    推薦理由:Gradio Blocks 的 Python 範例展示如何組合元件、事件與版面,構建多步驟互動介面,提供可借鑑的實作思路。

2022年5月13日週五
  1. Hugging Face Blog34

    Hugging Face 學生大使計劃現正接受申請

    Hugging Face 開放首屆學生大使計劃申請,邀請修讀機器學習或在社羣推廣 ML 的學生參與,截止日期為 2022 年 6 月 13 日。計劃於 2022 年 6 月 30 日開始、12 月 31 日結束;獲選者可獲同儕交流網絡、Hugging Face 團隊工作坊與支援、最新項目及功能資訊、周邊商品與素材,以及官方大使認可。

2022年5月9日週一
  1. Hugging Face Blog65

    Hugging Face 宣佈完成 $100 Million C 輪融資

    Hugging Face 宣佈完成由 Lux Capital 領投的 $100 Million C 輪融資,Sequoia、Coatue 等也參與投資。Hugging Face Hub 當時託管 100,000 個預訓練模型及 10,000 個數據集,超過 10,000 家公司使用 Hugging Face 建構機器學習技術。公司表示將加大研究、開源、產品及負責任地普及 AI 的投入。

    推薦理由:融資用途涵蓋研究、開源、產品與負責任地普及 AI,讀者可從中瞭解 Hugging Face 此輪募資要加速的方向。

2022年5月6日週五
2022年5月4日週三
2022年4月28日週四
2022年4月25日週一
  1. Hugging Face Blog61

    Hugging Face 示範以機器學習篩選不滿意客户訊息

    文章示範以 amazon_reviews_multi 的英文資料微調 microsoft/deberta-v3-base,建立五類情感分類模型以篩選最不滿意的客户訊息。測試中,模型識別出約 95% 的極度不滿意訊息,並把約 12% 的中立或滿意訊息誤判為需要回覆。按每日 10,000 則訊息的假設估算,人工工作量可減少約 83%;文章指出,實際應用需要貼近業務情境的高質素訓練數據。

    推薦理由:文章由任務界定、資料集篩選延伸至微調與業務指標設計,展示如何把模型評估對準客服實際處理目標。

2022年4月22日週五
2022年4月13日週三
2022年3月28日週一
2022年3月22日週二
  1. Hugging Face Blog37

    Hugging Face 宣佈推出 AI 研究駐留計劃

    Hugging Face 宣佈推出為期 9 個月的 AI 研究駐留計劃,協助參加者開展或深化機器學習研究。參加者將與 Science Team 研究員共同選定研究問題,以開放協作方式開發機器學習技術;計劃只提供全職形式,並可在現居地工作。申請截止日期為 2022 年 4 月 3 日。

2022年3月17日週四
2022年3月16日週三
  1. Hugging Face Blog56

    用 🤗 datasets 建立圖片搜尋應用

    🤗 datasets 教程示範為 10,000 張來自 British Library 數碼化書籍的插圖建立文字搜圖流程。作者使用 sentence_transformers 的 CLIP 將圖片和文字提示詞轉成嵌入向量,再以 FAISS 檢索相似圖片;完整數據集網址為 https://doi.org/10.21250/db17。