跳到正文
10月3日週六
  1. LlamaIndex:產品、工程與評測56

    使用 LlamaIndex 和 TruLens 構建並評估大語言模型應用

    TruLens 最新版本加入對 LlamaIndex 大語言模型應用的追蹤功能,讓開發者評估和記錄實驗,並檢視輸入輸出、模型呼叫及檢索內容。文章示範以回饋函數檢查語言匹配、答案相關性和檢索片段相關性,並在 TruLens 儀錶板查看彙總結果及個別互動紀錄。文中的錯誤回答案例顯示,檢索到相關性不足且不含答案的上下文時,應用可能產生模型幻覺。

  2. LlamaIndex:產品、工程與評測51

    LlamaIndex 發佈 LlamaIndex.TS v0.0.1 TypeScript 優先程式庫

    LlamaIndex 發佈 LlamaIndex.TS v0.0.1,這是一個以 TypeScript 為先、協助開發者將私有數據接入大型語言模型的程式庫。它會將文件載入標準化格式並建立索引,再檢索相關資訊供 LLM 生成更有依據的回答。相較 Python 版,LlamaIndex.TS 使用 camel case 函數名、較簡化的提示詞介面及非同步函數,並支援 NodeJS v18 及以上版本。

  3. LlamaIndex:產品、工程與評測31

    LlamaIndex:運用 Text2SQL 與 RAG 分析產品評論

    LlamaIndex 示範以 Text2SQL 結合 RAG 分析產品評論,從資料庫查詢並整理產品洞見。示範資料由 GPT-4 生成,涵蓋 iPhone13、SamsungTV 和 Ergonomic Chair,並存於記憶體 SQLite 資料庫。流程先把自然語言問題拆成主、輔助查詢,再以 Text2SQL 擷取資料,最後透過 List Index 根據輔助問題生成答案。

  4. LlamaIndex:產品、工程與評測52

    LlamaIndex 與 Vectara 宣佈 Managed Index 整合,文件處理由 Vectara 管理

    LlamaIndex 與 Vectara 宣佈以 Managed Index 整合,讓 Vectara 後端處理文件分塊、嵌入向量與儲存,並接入 LlamaIndex 的檢索和查詢工具。開發者可透過 VectaraIndex 的索引 API 將文件送至 Vectara,並使用 Retriever、Query Engine 和 Chat Engine 等功能,無須自行配置與管理向量資料庫。

  5. LlamaIndex:產品、工程與評測41

    使用 LlamaIndex 評估 RAG 系統的理想分塊大小

    LlamaIndex 示範使用 Response Evaluation 評估 RAG 系統的理想分塊大小,並比較不同設定下的平均回應時間、Faithfulness 與 Relevancy。實驗以 Uber 2021 年 10-K 文件生成問題,使用 GPT-3.5-turbo 產生回答,再以 GPT-4 評估回答的忠實度與相關性。

  6. LlamaIndex:產品、工程與評測53

    用 LayoutPDFReader 掌握 PDF 解析:抽取章節、標題、段落和表格

    文章介紹 LayoutPDFReader 解析具文字層的 PDF,保留章節層級、段落、表格和清單結構,並據此生成供 RAG 使用的分塊。文中示範以 LLMSherpa API 讀取 PDF,並用 LlamaIndex 建立向量索引及執行查詢。工具目前不支援 OCR,只能處理帶有文字層的 PDF;原文亦指出,並非所有 PDF 都能完美解析。

  7. LlamaIndex:產品、工程與評測59

    LlamaIndex 發佈 0.9,新增 IngestionPipeline 並更新多項開發介面

    LlamaIndex 發佈 0.9,新增用於資料匯入與轉換的 IngestionPipeline,並支援快取各轉換步驟。版本亦簡化節點解析與文字切分介面,將 LangChain 改為選裝套件,並將全域 tokenizer 改為可配置,預設採用 CL100K。此外,多模態 RAG 模組以 beta 形式推出,涵蓋多模態 LLM、嵌入及檢索。

  8. LlamaIndex:產品、工程與評測56

    LlamaIndex 解析多模態 RAG 評估方法

    LlamaIndex 介紹多模態 RAG 的評估方法,建議沿用文字型 RAG 的檢索與生成兩階段框架,並分別計算文字和圖片的檢索指標。生成評估則可使用能處理文字及圖像上下文的 LMM 作裁判,衡量相關性與忠實度;文中亦介紹其 beta Multi-Modal Evaluator abstractions。

  9. LlamaIndex:產品、工程與評測56

    LlamaIndex 推出 Llama Packs 預包裝模組中心

    LlamaIndex 推出 Llama Packs,這是一個由社羣推動的預包裝模組中心,旨在幫助使用者快速開始建立 LLM 應用。首批已與合作夥伴推出 16+ 個模板,可在 LlamaHub(https://llamahub.ai/)瀏覽,涵蓋 Streamlit 應用、Weaviate 檢索等用途。

  10. LlamaIndex:產品、工程與評測62

    LlamaIndex 推出 Llama Datasets,首批提供 10 個 RAG 評測資料集

    LlamaIndex 推出 Llama Datasets,首批提供 10 個社羣貢獻的資料集,用於按不同用例評測 RAG 流程。每個資料集包含問答對及來源上下文,可從 LlamaHub 下載,並使用 RagEvaluatorPack 計算評測指標。開發者亦可手動或以合成方式建立資料集,並向 LlamaHub 和 llama-datasets 提交貢獻。

  11. LlamaIndex:產品、工程與評測49

    LlamaIndex:進階 RAG 建構速查表與實作配方

    LlamaIndex 提供進階 RAG 建構速查表與實作配方,指出系統成效取決於檢索能否找到相關文件,以及生成能否善用文件回答查詢。內容示範以 Chunk-Size Optimization 調整文件分塊,並以結構化外部知識支援遞迴檢索或路由檢索。

  12. LlamaIndex:產品、工程與評測57

    LlamaIndex 推出 Query Pipelines 宣告式查詢編排 API

    LlamaIndex 推出 Query Pipelines 宣告式 API,讓開發者將 LlamaIndex 模組編排成順序鏈或 DAG 查詢工作流。它面向 RAG、結構化資料擷取等用途,支援跨整個流程的 callback,並可減少手動銜接模組所需的樣板程式。目前可組合 LLM、提示詞、查詢引擎、檢索器等模組,也能加入自訂元件;序列化與快取則列為未來方向。

  13. LlamaIndex:產品、工程與評測52

    如何使用 LlamaIndex 建構多租户 RAG 系統

    LlamaIndex 示範以文件 metadata 標記使用者,並在查詢時透過 metadata filter 限定可檢索的資料,建構多租户 RAG 系統。示例將 Jerry 與 Ravi 的論文分別加入同一索引,使用 ExactMatchFilter 分隔查詢;Jerry 查詢 Ravi 的 LLMCompiler 論文時未檢索到相關內容。

  14. LlamaIndex:產品、工程與評測63

    如何用 LlamaIndex、Qdrant 和 Render 建立可從 Slack 對話學習的聊天機械人

    LlamaIndex 的教程示範如何用 LlamaIndex、Qdrant 和 Render 建立並部署 Slack 聊天機械人,讓它從工作區對話記錄資訊並回答相關問題。機械人把未提及它的訊息存入索引,將提及它的訊息作為查詢;Qdrant 用來持久保存記憶,FixedRecencyPostprocessor 配合最多 20 條檢索結果,令較新的訊息優先。

  15. LlamaIndex:產品、工程與評測55

    LlamaIndex 推出 RAG 命令列工具 llamaindex-cli

    LlamaIndex 推出命令列工具 `llamaindex-cli`,讓使用者無需編寫程式即可將本地文件匯入並透過 RAG 提問。工具隨 `pip install llama-index` 安裝,底層使用 Chroma,另需安裝 `chromadb`;預設使用 OpenAI API,使用前須設定 `OPENAI_API_KEY`。

  16. LlamaIndex:產品、工程與評測51

    LlamaIndex 以 Alpha 調校提升 RAG 混合搜尋的檢索表現

    LlamaIndex 使用 Retrieval Evaluation module,在 Weaviate 中按查詢類型調校 RAG 混合搜尋的 Alpha,並比較有無重排器的檢索結果。實驗涵蓋六類查詢,以及索引一篇或三篇論文的資料集,並以 Hit Rate 和 MRR 評估檢索表現。文中結果顯示,重排器提升所測資料的兩項指標,而 Alpha 的表現會隨查詢類型和索引文檔數量而異。

  17. LlamaIndex:產品、工程與評測44

    RAGArch:LlamaIndex 驅動的無程式碼 RAG 流水線配置與一鍵程式碼生成工具

    RAGArch 是 LlamaIndex 驅動的無程式碼工具,可配置及測試 RAG 流水線,並一鍵生成相應 Python 程式碼。它以 Streamlit 提供互動介面,支援設定 LLM、Embedding 模型、節點解析器、回應合成方法及向量儲存庫,並用自有資料即時測試。可選服務包括 OpenAI GPT-3.5、GPT-4、Gemini Pro 及 Cohere API,另提供免費和付費方案。