Cachy 如何令 Answer.AI 的程式筆記本快 60 倍
Answer.AI 開源 Python 套件 cachy,透過快取並重用 Anthropic 或 OpenAI Python SDK 的 HTTPX 回應,避免相同 LLM 呼叫再次發送。
Answer.AI 開源 Python 套件 cachy,透過快取並重用 Anthropic 或 OpenAI Python SDK 的 HTTPX 回應,避免相同 LLM 呼叫再次發送。
SyGra 是面向 LLM 和 SLM 的低程式碼/無程式碼框架,用於簡化資料集建立、轉換與對齊,讓團隊可專注於提示詞工程。它透過 Python 程式庫整合現有 ML 工作流程,支援 vLLM、Hugging Face TGI、Triton 和 Ollama 等推理後端。框架可生成 Q&A、DPO、推理及多語言資料,亦支援篩選和整理資料。
ClusterX 為不同雲服務供應商的叢集調度提供統一 CLI 和 Python API,統一任務啟動、查看及停止介面,讓任務可在其支援的叢集間遷移。它提供 `run`、`get-job`、`log`、`stop` 和 `list` 等命令,可提交 CPU、GPU 及多機任務。
OpenAI 公開了一個基於 Responses API 的客服 AI 智能體人機協作示例程式庫,設有客户與人工客服兩種聊天介面。示例使用內置 file search 工具提供知識庫檢索和建議回覆,敏感操作由人工確認,非敏感操作可自動執行。示例中的函數目前只是佔位實現,不會實際修改資料;項目亦未達生產環境使用要求,用於生產環境前需補充輸入防護措施、用户身份驗證等安全措施。
OpenAI Developers 提供結合 Realtime API 與 Twilio 電話通話能力的 starter app,用於構建 AI 電話助手。示例以 NextJS 前端和 Express WebSocket 後端串接 Twilio 雙向通話串流與 Realtime API,後端亦向前端轉發訊息。
OpenAI 的 Realtime solar system 示範專案以語音連接 Realtime API 與 Spline 3D 太陽系場景,並透過 function calling 觸發應用程式操作。
FlagOpen/RoboSkill 以 MCP 規範統一廠商整合規格,建立具身機械人的通用技能商店,讓機械人技能可一鍵整合至機械人框架。技能按廠商名稱及機械人型號分層註冊,建議配合 FlagOpen/RoboOS 廠商適配流程使用;開發者可依 MCP 規範編寫技能函數,並以 `mcp dev skill.py` 本地測試。
SciSage 是開源多智能體科研綜述生成框架,具備帶備援機制的 arXiv 論文抓取、AI 論文理解及大綱生成。它亦能生成附有引用的分節分析,兼容 GPT-4、本地模型及雲端服務,並採用 MIT License。
dottxt 與 Hugging Face 合作推出 outlines-core,將 Outlines 的結構化生成核心算法移植至 Rust。項目現已公開並整合至 outlines,Python 綁定版本 0.1.0 已推出,索引編譯速度平均提升 2x。輕量化核心讓其他程式庫更易整合結構化生成,亦可建立 Python 以外語言的綁定。
NERL 是致力推進具身基礎模型與大型資料集的開源社羣,目標是建立持續增長的資料、模型及基準測試生態。項目整合網絡、模擬及真實機械人資料,並提供涵蓋資料處理、模型訓練與評估的端到端工具套件及排行榜。NERL 正準備 Robo-VLM,這款具身多模態語言模型可接收圖像、影片、3D 場景及關鍵點,輸出文字回答與策略規劃。
CoLLiE 是一套從零開始訓練大型語言模型的工具箱,提供資料預處理、模型微調、儲存及訓練指標監測,並整合並行策略、高效微調方法和優化器。它基於 DeepSpeed 和 PyTorch,支援 MOSS、InternLM、LLaMA 和 ChatGLM 等模型,以及 DP、PP、TP、ZeRO、LOMO、LoRA 和 Flash Attention。
FunAudioLLM-APP 提供 Voice Chat 和 Voice Translation 兩款應用,分別支援互動式語音對話及即時語音翻譯,方便不同語言的用戶溝通。項目運用語音理解及語音生成模型,並提供 CosyVoice、SenseVoice 的資源連結,以及安裝和執行指引。
Pollen Robotics 推出開源 pollen-vision 函式庫,整合零樣本視覺模型,支援以影像和文字輸入建立物件偵測及分割流程。首批模型包括 OWL-VIT、Mobile Sam 和 RAM,並結合深度資訊估算物件在 3D 空間中的 (x, y, z) 位置,為機械人抓取提供基礎。目前尚未支援完整 6D 姿態估計,OWL-VIT 的偵測結果亦可能不一致。
Say-I-Dont-Know 項目研究如何讓基於大語言模型的 AI 助手辨識自身知識邊界,並在不知道答案時拒答、在知道時作答。項目公開四套 Idk 數據集,分別對應 Llama-2-7b-chat、Baichuan2-7B-Chat、Mistral-7B-Instruct-v0.1 和 Llama-2-70b-chat,並提供 Llama-2-7b-chat 的偏好數據。
OpenAI 發佈 Triton 1.0,這是一種用於神經網絡 GPU 程式設計的類 Python 開源語言。它讓沒有 CUDA 經驗的研究人員也能編寫高效 GPU 程式碼;OpenAI 稱,多數情況下這些程式碼可媲美專家所能產出。
推薦理由:Triton 1.0 以類 Python 語言降低神經網絡 GPU 程式設計門檻,讓沒有 CUDA 經驗的研究人員也能編寫高效程式碼,OpenAI 稱多數情況下可媲美專家產出。