File size: 1,359 Bytes
f6370b0 0a82c64 f6370b0 3414cfe |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 |
---
title: HH Azure Openai Poc
emoji: 📉
colorFrom: yellow
colorTo: yellow
sdk: gradio
sdk_version: 3.33.1
app_file: app.py
pinned: false
license: openrail
---
# Azure OpenAI Wrapping API需求
## 需求:
### General:
1. 紀錄每次API 呼叫, 其目的是要
1. 成本歸集
2. 寄出週報讓其主管反饋是否為機敏資料的問題
3. 做為AI detector 的訓練資料
因此預計要紀錄:
- 使用者或是系統 → unique id
- 問題與內容
- Token 數量
- Model
2. 相同unique id 可以設定自己的prompt template
### Azure OpenAI Retrieval:
1. 上傳檔案並將其內容embedding string 之後, 歸納收到指定collection name
1. 目前使用local vector DB Chroma
2. 可以刪除指定collection name 的內容
3. 依Collection Name, 查詢己上傳檔案有哪些.
4. Retrieval QA 需要先搜尋該VectorDB Collection Name 內容再詢問LLM
5. 允許上傳臨時檔案:
1. 數據類: csv(Pandas)
2. 內容類: PDF, doc
並且依上傳不同檔案格式, 建立不同agent(pandas, 以及summary) 來提供計算或詢問.
6. 可以Summary, 上述上傳之檔案.
### Azure OpenAI Codex:
1. 使用Codex model(e.g. 以目前來說是 `Code-Davinci-002` , 日後可能調整gpt-3.5-turbo)
2. 可指定 `對話` , 或是 `僅回覆code` 兩種不同類型 |