如何使用 LlamaIndex.TS 以 TypeScript 建立 LLM 智能體
LlamaIndex.TS 教程示範如何以 TypeScript 建立 LLM 智能體,讓它調用函數工具完成計算,並根據文件回答問題。文件流程以 VectorStoreIndex 和 SummaryIndex 建立查詢及摘要工具;使用前須執行 `npm install llamaindex` 並設定 `OPENAI_API_KEY`。
LlamaIndex.TS 教程示範如何以 TypeScript 建立 LLM 智能體,讓它調用函數工具完成計算,並根據文件回答問題。文件流程以 VectorStoreIndex 和 SummaryIndex 建立查詢及摘要工具;使用前須執行 `npm install llamaindex` 並設定 `OPENAI_API_KEY`。
LlamaIndex 結合 OpenAI GPT4V 與 LanceDB,示範以多模態 RAG 處理影片,檢索影像及音訊轉寫內容。流程每 5 秒擷取 1 個影格(約 160 個),將音訊轉成文字,再用 OpenAI CLIP 為文字和影像生成嵌入向量,存入 LanceDB VectorStore。
LlamaIndex 宣佈推出 LlamaParse 文件解析服務,並介紹面向大語言模型及 RAG 應用的託管資料導入與檢索 API。解析器針對含表格、圖表等嵌入物件的複雜 PDF,可輸出保留語義結構的 Markdown,並接入 LlamaIndex 的資料導入與檢索流程。公開預覽目前支援 PDF,每日用量上限為 1k 頁;託管 API 則以私有預覽方式開放予有限的企業設計合作夥伴。
LlamaIndex 推出 llama-index-networks 擴充套件,讓多個建基於外部資料來源的 RAG 組成可供查詢的網絡。資料供應方可用 ContributorService 暴露 QueryEngine,查詢方則用 NetworkQueryEngine 連接多個服務;每次查詢會送往所有 contributors,再綜合回應。
LlamaIndex 宣佈推出全球首個 GenAI 原生文件解析平台 LlamaParse,並新增由 GenAI 驅動的解析指令,讓使用者以自然語言指定文件解析方式。
Langfuse 宣佈與 LlamaIndex 推出一鍵整合,讓 RAG 應用可在 Langfuse 中查看追蹤資料。
LlamaIndex 與開源 LLM 評測框架 UpTrain 整合,讓開發者可評估 RAG 管線並試驗不同配置。UpTrain 提供 20+ 預設檢查,評估與分析均在本地執行(LLM 呼叫除外);其 Callback Handler 可檢查生成回覆、RAG 擷取的上下文及中間步驟。
LlamaIndex 示範以差分隱私將敏感資料轉成合成資料,再透過 NetworkRetriever 讓多個貢獻者跨網絡檢索。在包含 1,200 個樣本、24 種疾病標籤的 Symptom2Disease 示例中,NetworkRetriever 的 hit rate 和 mean reciprocal rank 高於單一貢獻者檢索器。
Protect AI 示範將 LLM Guard 整合至 LlamaIndex 建構的 RAG 應用,掃描輸入文件與模型輸出中的惡意內容。示例以藏於候選人履歷白字中的提示詞注入作測試,並為簡化流程在檢索階段掃描文件。文中指出文件理想上應在匯入前掃描,並需檢查從 API 即時檢索的資料。
Mozilla 的客座文章示範使用 llamafile 在本機執行大語言模型,並配合 LlamaIndex 建立本機 RAG 研究助理。示例以同一個 llamafile 同時作為大語言模型和嵌入向量後端,將本機檔案與 Wikipedia 頁面建立向量索引,再透過 RAG 回答問題。整個助理在本機運行,毋須註冊雲端服務、支付 API 呼叫費用或把資料傳給第三方。
LlamaIndex 推出 Property Graph Index,以標記屬性圖表示擴展知識圖譜的建模、儲存與查詢能力。它支援 schema 引導、隱式及自由形式抽取,並可組合關鍵詞/同義詞、向量相似度、Cypher 查詢與自訂圖遍歷。圖譜節點預設會生成嵌入向量,底層儲存支援記憶體、磁碟及 Neo4j。
LlamaIndex 的 Property Graph Index 教程示範以 schema 引導抽取來建構知識圖譜,並加入實體去重與自訂檢索器,以提高 GraphRAG 準確度。示例使用 Diffbot 新聞資料集中的 250 篇文章建圖,使用 GPT-4o 約需 7 分鐘;去重結合嵌入向量相似度與詞距,自訂檢索器則先抽取查詢中的實體,再逐一使用 VectorContextRetriever。
LlamaIndex 發佈開源框架 llama-agents 的 alpha 版本,旨在簡化多智能體 AI 系統的構建、迭代與部署,並將智能體轉為生產環境微服務。
LlamaIndex 已向用户廣泛提供 LlamaParse,面向企業級 LLM 和 RAG 應用,支援複雜文件解析、資料接入與檢索。它支援 50+ 種語言和 100+ 種文件格式,檢索可配置 hybrid search、reranking 和 metadata filtering。LlamaParse Playground 可在部署前測試和調整資料接入及檢索策略。
LlamaIndex 助力 Lyzr 的企業自主 AI 智能體業務在不到 60 天內,ARR 由約 $100,000 升至約 $1.5 million。LlamaIndex 以數據連接器、RAG 上下文增強和彈性檢索支援其智能體;Lyzr 有 75% 客户使用兩個或以上 AI 智能體。
Arize AI 與 LlamaIndex 推出 LlamaTrace,這是一個原生支援 LlamaIndex 與 Arize 生態系的大語言模型追蹤及可觀測性託管平台。
LlamaIndex 宣佈推出 LlamaExtract Beta,這項託管服務可從非結構化文件推斷 schema,並按指定 schema 抽取結構化資料。用户可修改推斷出的 schema,或自行定義 schema;已有 schema 時,服務會逐份文件進行抽取。服務提供 UI 和 API,schema 推斷目前最多處理 5 個文件、每份最多 10 頁。
LlamaParse 推出文件級檢索 API,讓系統按問題需求取得整份文件內容,而不只檢索相關區塊。文件級檢索可按元資料或文件內容選擇文件,並支援調整 top-k 結果及按元資料篩選。配套 Jupyter notebook 示範讓智能體按問題在文件級與區塊級檢索間選擇。
LlamaIndex 推出 workflows beta,讓複雜 AI 應用可透過事件驅動架構編排。工作流由 Python 函數步驟組成,步驟可用事件觸發迴圈、自我修正,並透過 Context 分享執行期間的狀態。功能亦支援非同步與 streaming,並提供可觀測性、工作流視覺化和逐步執行除錯。
LlamaParse 提供索引複製、分塊視覺化與快速迭代功能,協助開發者測試和調整 RAG 流程的分塊大小,無須手動管理資料儲存或進行複雜重新索引。示例以 512 tokens 為基準,改用 Page 分段及 None 分塊設定後,回答更完整涵蓋 SWE-bench 的特徵。
LlamaIndex 的指南介紹如何使用 LlamaIndex 和 Azure OpenAI,在 Microsoft Azure 上構建無伺服器 RAG 應用程式。
LlamaIndex 宣佈在企業級 RAG 平台 LlamaParse 推出多模態功能,讓開發者可在數分鐘內建立同時索引及檢索文字與圖像的 RAG 管線。啟用 Multi-Modal Indexing 後,系統會把頁面截圖與提取文字一併建立索引,並可透過 API 接入應用程式。
LlamaIndex 推出 LlamaParse Premium,結合多模態模型與啟發式文本解析,處理複雜文件中的文本、表格和視覺內容。輸出可將文字、表格和圖像整理為結構化 Markdown,並把圖表轉成 Mermaid、公式輸出為 LaTeX,為所有圖像加上説明。
LlamaIndex 已整合 MistralAI 的 Pixtral 12B,提升圖表分析、圖像理解及圖像轉程式碼能力。本期亦提供以 OpenAI o1 和 LlamaParse 處理多工作表 Excel 的進階 RAG 指南,以及使用 LlamaParse 建立市場研究報告多模態 RAG 流程的教學。
LlamaIndex 公佈第二屆 Agentic RAG-a-thon 得獎項目及活動回顧。三日活動錄得逾 500 次註冊、45 個項目及 12 個贊助商,並頒發 $14,700 現金獎。首獎 Timeline of You 分析個人資料並生成職涯時間線;Closing.WTF 和 OilyRAGs 分獲二、三名。
LlamaIndex 本週推出 Mistral-3B 和 Mistral-8B 的 day-0 整合,並分享以 LlamaParse 從 ArXiv 論文知識庫生成綜述報告的遞迴式智能體工作流程。另有動態 few-shot prompting 專案,按查詢檢索相關示例以改善客户支援和 text-to-SQL,並列出多項 RAG、智能體應用案例及招聘職位。
NVIDIA 使用 LlamaIndex 與 NVIDIA NIM 為銷售代表打造 AI 銷售助理,支援內部知識檢索、翻譯及撰寫電郵等任務。系統按查詢類型將問題交予 Llama 3.1 405b,或以 Llama 3.1 70b 執行多來源 RAG,以較快、較低成本處理大量文件。Chainlit 提供聊天介面,RAG 資料來源包括內部文件庫、NVIDIA 網站及公開互聯網。
Jeff Davis 以 LlamaIndex 建成 OilyRAGs,這款多模態、免提式 RAG 維修技工助手的原型聚焦船艇維修。它可用手機辨識引擎型號、診斷問題及查詢零件,並生成數碼表格;作者稱操作速度提升 6,000%。該原型在 LlamaIndex 的 RAG-A-THON 獲第三名,數據可供 RAG 系統日後查詢。
RAGformation 是一款開源 AI 工具,可根據用户的自然語言需求,自動選擇雲端服務、設計架構並估算價格。它運用 RAG 與 Llama Index Workflows 生成架構流程圖,並按需求調整推薦服務和配置。用户確認方案後,工具會生成包含流程圖、定價及所選服務摘要的報告,程式碼可在 GitHub 取得。
Memgraph 示範如何透過 LlamaIndex 將非結構化文字建成可用自然語言查詢的知識圖譜。範例以 Charles Darwin 傳記抽取實體與關係,並透過查詢得出 Alfred Russel Wallace 是其合作者。
LlamaParse 的 SharePoint 整合支援權限感知檢索,可將 SharePoint 的細粒度存取控制用於 RAG 應用中的文件存取。建立索引並同步文件後,可在 chunks 預覽查看 allowed_siteUser_ids 等權限欄位。更新 SharePoint 檔案的共享對象並再次同步,chunks 預覽中的允許使用者清單會隨之變更。
LlamaIndex 推出文件智能體工作流程教學系列,涵蓋法律文件、發票及患者病例摘要。LlamaParse 新增可遵守 SharePoint 權限的 RAG 智能體內置支援,並可整合 Azure 企業資料來源、維持文件層級存取控制。LlamaIndex 亦為 Google 最新 Gemini 2.0 模型提供 day-0 支援。
LlamaReport 開放 beta,供部分早期用户將文件轉化為結構化報告。這款 API 優先工具支援上載來源文件與範本、規劃報告生成,並以 LLM 編輯報告;範本可採用 Markdown、提示詞或問卷。產品提供免費及付費方案,API 和 UI 預計於 early Q1 一般開放。
LlamaIndex 推出 LlamaReport 預覽版,可將文件資料庫轉為可自訂報告;LlamaParse 新增音訊轉文字功能,並支援處理 PDF 和試算表。LlamaIndex 亦發布智能體文件工作流程 Notebook,示範簡化特定領域業務邏輯、處理汽車保險索償及統一供應商發票單位。
LlamaIndex 與 NVIDIA 合作設計並發布 NVIDIA AI Blueprint,提供一套以智能體驅動 RAG 研究、撰寫及修訂網誌文章的多智能體系統。
作者以 LlamaIndex Workflows 實作面向 Neo4j 知識圖譜的 text2cypher 智能體,展示查詢生成、失敗重試、結果評估與迭代規劃流程。
LlamaIndex 宣佈 LlamaParse 正式開放使用,並完成由 Norwest Venture Partners 領投、Greylock Partners 參與的 $19M A 輪融資,使累計融資達 $27.5M。
LlamaIndex 宣佈 LlamaParse 開放所有人註冊,並公佈 $19M A 輪融資。Parse With Agent 模式現支援 Claude Sonnet 3.7 和 Gemini 2.0 Flash,以改善表格解析及跨頁一致性。電子報亦列出 HuggingFace 的智能體課程,以及 DeepLearning.AI 合作推出的智能體文件工作流程課程。
LlamaIndex 將 Agentic Document Workflow(ADW)作為企業文件流程的參考架構,以 Parse、Retrieve、Reason、Act 四階段把文件處理連接至業務動作,目標是超越「與文件聊天」原型。
LlamaIndex 的 2025-05-06 電子報分享智能體建置、多語言多模態 RAG、文件處理及部署框架的更新。內容包括開源 PapersChat、支援 Solace message broker 的 LlamaDeploy,以及 Ollama 在 LlamaIndex 中支援 Qwen 3。