多模態模型中的跨模態引導向量可用於文字與圖像生成
統一多模態模型中的跨模態引導向量,可在文字與圖像生成之間遷移,揭示兩種模態共享因果控制機制。研究發現,向量能在文字轉圖像及圖像轉文字兩個方向零樣本遷移;即使概念高度偏向某一模態,也常能在另一模態產生一致且可解讀的效果。
統一多模態模型中的跨模態引導向量,可在文字與圖像生成之間遷移,揭示兩種模態共享因果控制機制。研究發現,向量能在文字轉圖像及圖像轉文字兩個方向零樣本遷移;即使概念高度偏向某一模態,也常能在另一模態產生一致且可解讀的效果。
Omni-InteractScope 是一項評測 Omni-LLMs 在連續影音串流中互動可靠性的基準,涵蓋 1,479 個人工標註互動、1,790 個時間目標及八組任務。測試的 12 個模型中,工具調用的準時首答比例均不超過 40%,時間與工具聯合準確率最高為 32.0%;提醒召回率不超過 23.0%。9 個模型未能完整覆蓋任何一段指引序列。
Fridge to List 以本機 Gemma 3 (4B) 經 Ollama 分析雪櫃照片,結合用戶的常備清單生成可編輯的購物清單。應用程式可處理 1 至 4 張照片,列出辨識信心度及「無法判斷」項目;下載模型後可離線生成,照片只在本機處理。
皮膚科醫生以 200 個經活檢確認的病灶測試三種模型,微調版 Inception v3 的診斷準確率為 62%,GPT-6 Astra 和 Claude Fable 5.1 均為 42%。Inception v3 首選或次選合計答對 173 例,兩個大語言模型分別答對 134 和 138 例。作者指出,測試只涵蓋 200 個病灶,CNN 亦非當前最先進模型。
Study Sloth 是一個為學生整理課程材料的 AI 學習工作區,可把講課錄音轉成附時間戳記的逐字稿和分單元筆記,並把 PDF 整理成附頁碼的筆記。它亦可生成閃卡、測驗、口試問題及實驗手冊;本機版使用 Ollama 和 Whisper,託管版則會把錄音傳送至 Groq 轉錄。
slothlens 是作者打造的開源工具,透過 Ollama 在本機以 Gemma 3 4B 夜間逐張分析截圖,產生待辦事項、敏感資料提示及全文搜尋索引。以 16 張合成截圖測試,分類準確率為 14/16,4 張敏感截圖全數捕捉且沒有誤報,6 項植入秘密均未進入資料庫。測試機為 2 vCPUs、4 GB RAM 且沒有 GPU,平均每張處理需 4m16s;工具亦支援搜尋和可撤銷的檔案整理。
CampusLens 是一款以 hosted Gemma 4 建構的 AI 大學通知助手,可讀取文字或圖片形式的通知,整理重點、待辦事項和截止日期。日期等需要精確處理的內容由程式碼處理;目前使用託管模型,尚未在大量學生中測試。
開發者正把 LLM 用於自動化重複工作、構建智能應用、分析非結構化資料,以及建立可與實際系統互動的 AI agents。10 個實用場景包括程式編寫助手、文件 RAG 搜尋、自動化代碼審查與測試、自然語言轉 SQL、文件資料抽取、客戶支援自動化、多步驟工作流程及多語言本地化。要在正式環境可靠運作,須按場景選擇模型,並配合驗證、權限管理、測試及人工審核。
SketchSloth 是一款離線 AI 桌面應用程式,可將手繪線框圖直接轉換為可運作、具響應式的 React 和 Tailwind TSX 程式碼,省去手動搭建前端版面的樣板工作。它透過 Ollama 連接本機 Meta 開放權重 Llama 3.2-Vision,並以 Next.js 16 和 Tauri v2 建構,可在裝置上執行。
Namely 使用開放權重模型 Gemma 4,為上載的檔案產生描述式、簡短及日期優先的三種檔名建議。用戶可複製建議名稱,或在瀏覽器下載已重新命名的檔案,原檔毋須傳回伺服器。Namely 透過 Gemini API 讀取檔案,資料會傳送至 Google。
具身 AI 透過具備實體的智能體,將基礎模型帶進物理世界,結合多模態模型、空間運算與機械人技術,讓智能體感知環境、理解指令並執行動作。Vision-Language-Action(VLA)模型把視覺感知、控制與語言指令整合,協助機械人將任務推廣至陌生環境。實際部署仍受延遲與安全、硬件耐用度及能源密度等挑戰。
華為近兩日向 Mate 80 / 70 / 60、Pura 80 / 70 等系列推送 HarmonyOS 7.0.0.111,帶來多項更新日誌未有列出的功能。更多機型可設定深色模式隨日出日落切換,並自訂桌面下滑操作;新增的智慧場景服務支援建立個人、車輛及家庭自動化服務。相冊新增圖片塗鴉、貼紙及影片匯出動圖功能,部分機型的本地多模態基礎大模型亦有更新。
DeepSeek V4.1-Flash 開啟限時內測,支援文字與圖片輸入,並沿用 V4-Flash 計費標準。內測模型上下文窗口為 100 萬 tokens、最大輸出 128000 tokens,單帳號最多支援 20 路並發請求。內測使用專屬臨時模型 ID,文章提供 curl、Python SDK 調用及桌面 AI 工具配置與故障排查方法,並提醒勿將臨時 ID 用於生產環境。
AI 眼鏡的音質因使用情境而異,只適合在部分情況下取代耳機。安靜環境下播放音樂,聲音或可接受;在嘈雜環境或沉浸式媒體使用時,音質可能不足。選購時應按個人聆聽需要權衡便利與音質。
Microsoft Teams 桌面版、Mac 版及網頁版將於 2026 年 11 月中旬逐步推出深度偽造檢測功能。經認證的第三方工具可接入會議,實時掃描音訊及影片,識別 AI 生成的虛假媒體;Teams 會展示警告及操作選項。管理員須授權機器人使用 reportSyntheticMedia API 權限,結果會以 0.0–1.0 置信度評分及低、中、高風險等級呈現。
Carla 開發 Lazy Screenshot Namer,使用本機 Gemma 4 分析截圖並建議檔名,同時標記疑似含有密碼或金鑰的圖片。它以 Gemma 4 E2B(gemma4:e2b-it-qat,約 4 GB)透過 Ollama 在沒有 GPU 的筆記型電腦上運行,預設先 dry run,使用 --apply 才重新命名,並將變更記錄到 CSV。
Snap Me 透過拍攝身邊物件學習英文,提供單字、發音、例句及填空練習,並以答對練習解鎖時態。Gemma 4 負責辨識物件和生成課程,Kokoro-82M 在瀏覽器內生成語音;優化後,辨識約需 3 至 4 秒,生成課程約需 5 至 6 秒。應用程式每天限拍 5 張照片,進度儲存在裝置本地。
微軟 Teams 將允許組織接入已認證的第三方工具,掃描會議中的音頻和視頻內容以檢測深度偽造。功能預計於 11 月中旬在 Teams 桌面版、Mac 版和網頁版逐步推出;Teams 會顯示警告彈窗及相關操作選項。檢測機器人須獲準加入通話並取得管理員授權,隨後可標記參會者並提供 0.0 至 1.0 的置信度評分及高、中、低判斷。
開發者 Kuntal Gorai 開源 Reel Sloth,讓用戶輸入 Instagram 已儲存的 Reels 連結或匯入資料檔,整理成可勾選的清單。工具以 faster-whisper、Qwen2.5-VL 3B 和 Gemma 4 E2B 分別處理語音、畫面文字和分類,並在作者的 Windows 電腦上以 CPU 執行;該電腦有 16 GB RAM,沒有 GPU。
Pavel Sich 於 9 月推出 DreamDwell,讓用戶上傳一張手機照片,生成房源刊登圖片、產品攝影或宣傳企劃等成品,也可製作短片。DreamDwell 的功能可透過 HTTP 和 MCP 使用,並提供 Agent Command API;訂閲方案由 €15/月起。
Sloth Mode 是一款以網絡攝影機追蹤動作速度的運動遊戲,MediaPipe Pose 在瀏覽器辨識身體姿勢,程式據此判定樹懶攀爬、停留或打盹。本機 Ollama 執行的開放權重 Gemma 會從 12 種動作中選出 3 種,並提供節奏、次數及動作提示。影片不會離開瀏覽器,動作判定不會呼叫 AI。
Receipt Raccoon 是一款以本機為先的收據及保養資料管理工具,使用 Gemma 3 和 Ollama 擷取收據資料、以自然語言搜尋收據。收據資料及原始檔案儲存在瀏覽器的 IndexedDB,AI 功能在本機運行,毋須使用託管 AI API。管理功能包括保養期限追蹤、重複收據提示,以及備份與還原。
2026廣播電視精品創作大會「電視劇(網絡劇)論壇」議程發布,論壇將於11月4日下午在北京舉行。議題包括精品劇集創作、AIGC時代的影像創作、AI與實拍混製生產方式重構及版權生態保護。愛奇藝、優酷、騰訊視頻、芒果TV將聯合啟動「劇好看」專區。
開發者在 Hacktoberfest Hack Day 為開源資料集 CLI Saara 加入 Gemma 4 本機掃描 PDF OCR,並加入多格式匯出與按文件分組切分功能。本機模式透過 Ollama 將掃描頁面轉成文字,文件不會離開電腦;匯出涵蓋 8 種格式,分組切分則避免同一文件的頁面同時進入訓練集與測試集。
Scrawl 利用 Gemma 4 將手繪塗鴉轉成可玩的遊戲,按圖像內容生成平台遊戲、迷宮或賽車關卡。gemma-4-26b-a4b-it 透過 Gemini API,以一次多模態呼叫辨識圖像並提取物件位置,約需 10 秒;Scrawl 亦會補上缺漏,確保關卡可載入。用戶建立免費帳戶後可儲存及分享關卡。
AI 英語培訓智能體採用感知、大腦、行動三層架構,整合多模態輸入輸出、即時語音、教研知識檢索、長期記憶及多智能體協作。系統以教學狀態機規範教學流程,並設有主講教師、糾錯助教及評估測試智能體。開發流程涵蓋場景定義、文字對話驗證、語音與多模態整合,以及教研資料融合和系統優化。
企業採納 Bitcoin、AI 語音合成技術的進展,以及 Google 個人資料政策的變動,交織出數碼金融、信任與資料主權的挑戰。文章探討區塊鏈如何透過去中心化身份、零知識證明及去中心化儲存,應對合成媒體詐騙和集中式資料管理問題。
Kevin Madura 在分享中介紹 DSPy,示範如何以 Python 程式和模組化工作流構建 LLM 應用,並透過優化器迭代調整底層提示詞。內容涵蓋簽名、模組、工具、適配器、優化器和指標,並展示情感分類、PDF 分析、多模態處理及 ReAct Agent。分享亦指出,優化器可利用質素良好的 10-100 組輸入輸出對按指標改進程序,產生的模組可儲存或直接調用。
深圳微光電子科技有限公司於2026年10月完成近1億元人民幣A輪融資,由無錫市梁溪科技城創新投資有限公司領投,洪泰基金等跟投。微光科技專注多模態情境感知與Ego-XR技術,主打輕量化AR智能眼鏡,融資將用於產品研發及多模態數據平台建設。
Qwen3.8-Max 是百煉平台提供的 2.4 萬億參數 MoE 旗艦模型,支援圖像、文字及影片輸入並輸出文字,總上下文長度為 1,000,000 tokens。
MediaMend 是一款在本機運作的 AI 助理,用來標記模糊相片、黑畫面影片、無聲錄音、空檔案及重複檔案,供用戶逐項檢查。獲批檔案會移至回收區而非直接刪除,用戶可還原、封存或永久刪除;永久刪除須另行確認。工具以 OpenCV、FFmpeg 和 SHA-256 進行檢測,並使用本機視覺語言模型判斷標記相片是否值得保留。
開發者 Kunal 建立 slothdesk,讓本機 Gemma 4 整理下載資料夾、分類檔案並生成待辦摘要,也可辨識截圖中的秘密。工具透過 Ollama 在筆電運行,規則會鎖定機密檔案而不讓模型開啟;程式碼處理日期排序和重複檔案,Gemma 負責分類及挑選優先事項。作者以 69 個截圖檔案測試,掃描需時 7.8 分鐘,並發現一張檔名規則未能識別、顯示恢復資訊的截圖。
MediaMend 是一款在本機運行的 AI 助理,掃描資料夾並標記模糊相片、黑畫面、靜音錄音、空檔案及重複檔案,供用戶檢視。獲批准的檔案會移至 Bin 而非直接刪除,之後可還原、封存或永久刪除;永久刪除須另行確認。工具以 OpenCV、FFmpeg 和 SHA-256 檢查媒體,並使用本機視覺語言模型輔助判斷相片是否值得保留。
視覺語言模型(VLM)連結圖像等視覺資訊與文字,能根據圖像回答問題或作出描述。模型透過視覺編碼器提取圖像特徵,再由多模態連接部分結合視覺與語言資訊,交予語言模型生成回答。文中列出圖像轉文字、文字轉視覺及跨模態檢索三類模型。
PSL Calculator 是一款採用開放權重視覺模型及本機流程打造的互動網頁應用,讓用戶上載圖片並查看詳細評估結果。系統以 Python 處理即時狀態管理、提示詞編排及多智能體分析,並透過 Streamlit 提供介面和解析 HEIC 圖片;開放架構亦方便社羣審核、分支及擴展程式碼。
ChronoReplay 是提升串流視覺語言模型空間推理能力的訓練框架,旨在解決模型受單一答案格式限制、難以應對不同空間推理任務的問題。它將不同類型的空間監督資料整理成按時間排序的互動片段,保留各任務的答案格式並平衡不同監督類別。
LOLPlay 是一項以《League of Legends》原生環境評測即時視覺智能體的基準,涵蓋 36 項英雄專屬任務,並以 82 項可執行子目標檢查區分部分進度與任務完成。
AMBIT 是一套統一框架,透過自回歸場景規劃與 rectified-flow 渲染,生成及編輯一階 Ambisonics(FOA)音訊。框架以可執行 ScenePlans 描述聲源內容、活動及 3D 軌跡,並結合 FOA 專用連續 VAE 和 on-policy 自蒸餾。評測顯示,AMBIT 在語音、音樂及音效生成的內容與空間品質,以及指令引導編輯的音質保真度和未編輯聲源保留方面,優於比較基線。
InteractiveWorld提出可驗證的模擬環境及基準,用於評估多模態語言模型能否可靠地引導人類完成實體任務。研究推出的 InteractiveBench 涵蓋六個類別、共 120 項多輪任務。對 12 個前沿 MLLM 的測試顯示,Claude Fable 5.1 在長時程 Guidance 和 Planning 任務上的最高得分分別為 20% 和 25%。
HuGe 利用第一人稱視角的人類及機械人數據,預訓練人形通用視覺-語言-動作模型,以支援全身人形機械人控制。模型使用超過 2,000 小時數據,並透過三階段訓練流程及模擬生成的偽本體感知狀態,完成預訓練與人形適配。HuGe 在 HumanoidArena 模擬基準取得最先進成績;Unitree G1 的真實環境實驗亦顯示,加入經視覺適配的第一人稱示範,可提升抓取及放置任務的成功率。