IF Con Tokyo 2026:將「What If」轉化為實際應用
LangGenius K.K. 將於 9 月 10 日在東京舉辦 IF Con Tokyo 2026,聚焦如何透過 Dify 將生成式 AI 從試點項目投入日常營運。活動設有真實應用案例分享和技術深入環節,涵蓋 AI 智能體、RAG 及工作流程設計,並將公佈一項 Dify 新產品。活動免費入場,須預先登記。
LangGenius K.K. 將於 9 月 10 日在東京舉辦 IF Con Tokyo 2026,聚焦如何透過 Dify 將生成式 AI 從試點項目投入日常營運。活動設有真實應用案例分享和技術深入環節,涵蓋 AI 智能體、RAG 及工作流程設計,並將公佈一項 Dify 新產品。活動免費入場,須預先登記。
ClusterTech 在 LEAP East 2026 的 HKSTP 展館展示 PRISMA 及 CHESS,涵蓋企業 AI 智能體與高效能運算管理方案。PRISMA 運用大語言模型(LLM)及檢索增強生成(RAG),提供安全且可自訂的智能方案;CHESS 則是 ClusterTech 自行開發的高效能運算管理平台。
AI CRM 系統結合預測分析、生成式 AI 和自動化,協助企業識別高意向潛客、預警客戶流失,並生成情境化跟進內容。SleekFlow 作為 AI 智能通訊層,支援 WhatsApp 與 HubSpot 或 Salesforce 雙向同步,並提供對話摘要、情境化回覆及多代理架構。
Mistral AI 發佈文件解析模型 Mistral OCR 4,除提取文字外亦輸出邊界框、區塊類型和信心分數,並支援 170 種語言、10 個語言組別。獨立人工偏好評估的平均勝率為 72%,模型在 OlmOCRBench 得分 85.20;官方提醒自動基準存在評分侷限,建議以自有文件評估。
推薦理由:文章列明 OCR 4 的結構化輸出和自動基準評分侷限,為企業按自身文件評估解析、檢索及資料管線提供具體參照。
Google 在 Gemini Enterprise Agent Platform 推出由 Agentic RAG 驅動的 Cross-Corpus Retrieval 公開預覽,透過多智能體規劃、路由及充分上下文檢查,迭代搜尋跨來源資料。
Mistral AI 發佈開源 Search Toolkit 公開預覽版,將資料匯入、檢索與評估整合為共享介面的 AI 搜索框架。它內置 BM25 稀疏檢索、基於嵌入向量的密集檢索及混合檢索,並提供 recall、precision、MRR 和 NDCG 指標,可在自有測試集評估。框架可在雲端、本地部署及邊緣環境運行,並提供 starter app template。
《獨學で鍛える數理思考》系列以兩冊12章説明,高中數學與最前沿 AI 技術可由共通數理框架連繫。五項共通核心包括向量相似度計算、矩陣大規模數據處理、微分學習與最佳化、機率建模與估計,以及基於物理學的考察。這些數理反覆應用於資訊搜尋、商品推薦、Transformer、ViT、CLIP及機械人技術;跨領域學習可看出不同技術背後的共同脈絡。
PaddleOCR 3.5 為支援的 OCR 與文件解析模型加入 Transformers 推理後端,開發者可透過 `engine` 參數選擇。`engine_config` 可設定 dtype、裝置配置及 attention implementation;若優先考慮 OCR 或文件解析吞吐量,文章通常建議使用預設的 paddle_static 後端。
IBM Granite 發佈兩款採 Apache 2.0 授權的多語嵌入模型:97M 參數的 granite-embedding-97m-multilingual-r2 和 311M 參數的 granite-embedding-311m-multilingual-r2。
推薦理由:文章提供 97M 與 311M 版本在多語檢索、長文及程式碼基準的比較,並交代 Matryoshka 維度選項對儲存與部署取捨的影響。
作者以 Python 示範從頭建立向量搜尋流程,涵蓋文字 Embedding、向量儲存、查詢向量化及近鄰搜尋。範例以 sentence-transformers 的 multilingual-e5-base 產生向量,再用 DuckDB VSS 和 HNSW 在本機執行儲存與相似度搜尋;文中亦比較多款模型及向量資料庫。
Sentence Transformers v5.4 的同一 API 現可編碼並比較文字、圖像、音訊和影片,文章示範其多模態嵌入與 reranker 用法。嵌入模型將不同模態映射至共享嵌入空間;預訓練多模態 reranker 目前主要處理文字與圖像配對。示例涵蓋跨模態檢索、混合模態文件重排及先檢索再重排流程,並列出輸入格式、支援模型和安裝依賴。
推薦理由:文章展示 Sentence Transformers v5.4 的跨模態檢索與 reranker 重排流程,並整理支援模型和輸入格式,提供實作參考。
Hamel Husain 認為,LLM API 雖讓團隊可自行整合 AI,評測、實驗設計和生產監測仍需要數據科學方法。文中列出五類評測陷阱,包括套用通用指標、未驗證 LLM 評審、測試集設計不當、數據及標籤質素欠佳,以及過度自動化。作者建議檢視 traces、以人工標註驗證評審,並根據真實生產數據設計測試集,讓領域專家參與標註。
文章介紹一套以 AWS 原生託管服務為主的架構,整合多個 AI 智能體與搜尋資料儲存庫在生產環境中的品質管理。架構以 OpenTelemetry Trace 為共同追蹤單位,結合 AgentCore Evaluations 同時評估智能體回答品質與搜尋品質,並據此定位問題、更新評估數據集及重新通過品質閘門。
Google 於 2026 年 3 月 10 日以公開預覽形式發佈基於 Gemini 架構的首款多模態嵌入模型 Gemini Embedding 2。模型可處理文字、圖片、影片、音訊及 PDF,並將內容映射至統一嵌入空間,支援 100 多種語言及單一請求混合多種模態。
Inception Labs 發佈 Mercury 2 推理語言模型,透過擴散模型並行修訂生成回應,主打低延遲推理。官方列出其在 NVIDIA Blackwell GPUs 上達 1,009 tokens/sec,並稱生成速度提升 >5x;價格為 $0.25/1M input tokens、$0.75/1M output tokens。
MySQL 9.6.0 推出多項伺服器與 HeatWave 更新,Fujitsu Enterprise Postgres 18 亦以 PostgreSQL 18 為基礎發佈。
文章以 Python 3.13 和 CrewAI 1.8.1 示範如何構建多智能體 AI 工作流,介紹 Agent、Task、Crew 等基本組件,以及順序式與階層式流程。內容亦示範以 SerperDevTool 進行搜尋,並介紹 CrewAI CLI、YAML 設定、Memory 和基於 RAG 的 Knowledge。文末提及正式環境的存取控制、監察、記錄及成本管理考量。
SearchBlox 將 Inception 的 Mercury dLLM 整合至 SearchAI 的 RAG 流程,為企業搜尋提供低於 1 秒的 GenAI 回應。Mercury 令推理成本降低 60% 至 90%。客户可在 AWS Bedrock 或 Azure Foundry 部署 Mercury,數據不會離開其私有雲實例。
eplus 將服務1,900萬會員的會員管理系統遷移至 OCI 上的 MySQL HeatWave,應對售票高峯期間的系統負載與處理延遲,並降低成本。
Gemini API 已將 File Search API 開放至公開預覽,讓開發者可用自有資料為回應提供依據。
Google 發佈 EmbeddingGemma,一款支援 100 多種語言、具備 308M parameters 和 2K context window 的多語言嵌入模型。文章示範以 Sentence Transformers、LangChain 等工具接入模型,並在 MIRIAD 醫療檢索測試中將微調版的 NDCG@10 提升至 0.8862,基礎模型為 0.8340。
推薦理由:文章提供 EmbeddingGemma 接入多個檢索框架的程式示例,並説明查詢與文件提示詞的設定方式,方便將模型納入既有檢索流程。
Blue J 結合 GPT‑4.1 與專有税務資料庫,在兩年內將税務研究引擎擴展至美國、加拿大和英國,服務超過 3,000 間企業。用戶每週平均節省 2.7 小時,答案被標記為不同意的比率低於 1/700。公司以涵蓋 350 多個提示詞的基準套件評估新模型。
OpenAI 的 File search 指南説明,Responses API 可透過語義與關鍵詞搜尋,從已上傳檔案的知識庫檢索資訊。指南示範先建立 vector store 並上傳檔案,再將 file_search 加入可用工具;此工具由 OpenAI 託管,模型決定調用時會自動搜尋檔案並返回結果。
OpenAI Developers 歸納出七項 LLM 應用延遲優化原則,涵蓋 token 處理、減少請求、並行執行、改善用户等待體驗及避免不必要地使用 LLM。
OpenAI 提出提升 LLM 正確性與行為一致性的優化框架,建議先透過評估診斷失誤,再按問題選用提示詞、RAG 或微調。在冰島語校正測試中,GPT-4 零樣本的 BLEU 為 62,加入 3 個 few-shot examples 後為 70;以 1000 個例子微調 GPT-4 後為 87,再加入 RAG 則降至 83。
OpenAI Developers 提供一套面向開發者的 AI 應用開發學習路線,按四階段涵蓋基礎概念、應用開發、測試與評估,以及規模化和維護。內容介紹如何透過 Responses API 或 Agents SDK 建置智能體,並説明 RAG 用於引入知識、微調用於調整模型行為,以及用 evals 和 guardrails 測試與約束應用。
Hugging Face Blog 示範如何使用 Sentence Transformers 訓練及微調稀疏嵌入模型,介紹 SPLADE、Inference-free SPLADE、CSR 架構,以及資料、損失函數、評估器和訓練器的配置。
推薦理由:文章按 SPLADE、Inference-free SPLADE 與 CSR 的適用情境梳理架構選擇,並以實作例子串連資料、損失函數和評估器配置。
Mistral AI 發佈首款程式碼專用嵌入模型 Codestral Embed,面向真實程式碼檢索。官方稱其檢索表現優於 Voyage Code 3、Cohere Embed v4.0 和 OpenAI 的大型嵌入模型;採用 256 維、int8 精度時仍優於競品。
Mistral AI 發佈 Agents API,將內置連接器、跨對話記憶及智能體編排整合為構建 AI 智能體的框架。內置連接器涵蓋代碼執行、網絡搜索、圖像生成、Document Library 及 MCP 工具;啟用網絡搜索後,Mistral Large 和 Mistral Medium 在 SimpleQA 的分數分別由 23% 和 22.08% 升至 75% 和 82.32%。
推薦理由:Agents API 把內置連接器、跨對話記憶和多智能體編排納入同一框架,並以 SimpleQA 數據呈現網絡搜索前後的分數差異。
ChatGPT 可連接 Google Drive,使用其中的內部知識,並結合相關上下文回答問題。
AI 結合 MBTI,為企業員工溝通與管理提供個人化策略,並可配合 RAG 技術,按員工性格及即時溝通情況調整建議。應用包括分析溝通模式、提供個人化績效回饋,以及改善會議安排和團隊協作。文章指出,AI+MBTI 的應用仍處於早期階段,未來或延伸至跨文化溝通及結合其他心理模型。
AI結合MBTI,按員工的性格特點提供個人化溝通建議,並協助改善團隊協作。結合RAG後,系統可檢索歷史內部溝通資料,並按MBTI類型及情緒分析調整溝通方式和建議。
OpenAI Developers 的 cookbook 示範以 Responses API 建立 RAG 多工具工作流程,按查詢將請求路由至內置工具或外部工具。示例結合內置網絡搜尋與 Pinecone 向量資料庫檢索,並展示先搜尋網頁、再查詢 Pinecone,將工具結果交回 API 生成答案。
Mistral AI 推出 Mistral OCR 文件理解 API,可解析圖片與 PDF,並抽取文字、圖像、表格及公式。API mistral-ocr-latest 已在 la Plateforme 開放,每美元可處理 1000 頁,批次推理下每美元可處理頁數約增至兩倍;Mistral OCR 亦可在 le Chat 免費試用。
推薦理由:Mistral OCR 可解析 PDF、圖片中的表格與公式,並支援 JSON 輸出,展示文件接入 RAG 與 Agent 工作流的實際做法。
這項基準測試比較文字分類、文本嵌入及視覺嵌入的推理配置,估算處理 1B 筆輸入的成本與延遲。在 nvidia-L4($0.8/hr)上,三類任務每 1B 筆輸入的成本分別為 $253.82、$409.44 和 $44,496.51;測試程式碼見 https://github.com/datavistics/encoder-analysis。
推薦理由:三類實測呈現 GPU、batch size 與並行 VUs 對成本和延遲的影響,並提供可替換模型與硬件重跑的流程,供讀者估算自有配置處理 1B 筆輸入的開支。
Open Arabic LLM Leaderboard 2 更新阿拉伯語大語言模型評測基準,移除飽和及機器翻譯任務,採用原生阿拉伯語或人工翻譯基準。
Answer.AI 與 LightOn 發佈 ModernBERT,提供 base(149M params)及 large(395M params)兩種僅編碼器版本。
推薦理由:文章將 ModernBERT 的架構、效率與訓練改動連結至長上下文檢索及程式碼檢索場景,呈現編碼器更新對實際應用的意義。
Answer.AI 與 LightOn 發佈 ModernBERT,提供 149M params 的 base 和 395M params 的 large 兩種 encoder-only 模型。
antirez 宣佈重返 Redis 生態系統,並表示希望以兼職形式協助公司與社羣溝通及 Redis 核心發展方向。他正以有序集合為靈感,從頭重寫 HNSW,製作向量集合的概念驗證,並展示 VSIM、VADD、VCARD 等命令;目前仍處於早期階段。他認為社羣分裂並非主要源於授權轉換,並希望新授權能令開發重心回到 Redis 核心。
Ollama 現已提供部分 IBM Granite 3.0 模型供用戶執行,所有模型均採用 Apache 2.0 授權。Granite 2B、8B 是純文字 Dense LLM,使用超過 12 trillion tokens 訓練;1B、3B MoE 模型使用超過 10 trillion tokens 訓練,面向低延遲推理,適合裝置端部署或需要即時推理的情境。