README.md

metadata

title: HH Azure Openai Poc
emoji: 📉
colorFrom: yellow
colorTo: yellow
sdk: gradio
sdk_version: 3.33.1
app_file: app.py
pinned: false
license: openrail

Azure OpenAI Wrapping API需求

需求:

General:

1. 紀錄每次API 呼叫, 其目的是要

   1. 成本歸集
   2. 寄出週報讓其主管反饋是否為機敏資料的問題
   3. 做為AI detector 的訓練資料

   因此預計要紀錄:

   • 使用者或是系統 → unique id
   • 問題與內容
   • Token 數量
   • Model

2. 相同unique id 可以設定自己的prompt template

Azure OpenAI Retrieval:

1. 上傳檔案並將其內容embedding string 之後, 歸納收到指定collection name

   1. 目前使用local vector DB Chroma

2. 可以刪除指定collection name 的內容

3. 依Collection Name, 查詢己上傳檔案有哪些.

4. Retrieval QA 需要先搜尋該VectorDB Collection Name 內容再詢問LLM

5. 允許上傳臨時檔案:

   1. 數據類: csv(Pandas)
   2. 內容類: PDF, doc

   並且依上傳不同檔案格式, 建立不同agent(pandas, 以及summary) 來提供計算或詢問.

6. 可以Summary, 上述上傳之檔案.

Azure OpenAI Codex:

1. 使用Codex model(e.g. 以目前來說是 Code-Davinci-002 , 日後可能調整gpt-3.5-turbo)
2. 可指定 對話 , 或是 僅回覆code 兩種不同類型