---
title: HH Azure Openai Poc
emoji: 📉
colorFrom: yellow
colorTo: yellow
sdk: gradio
sdk_version: 3.33.1
app_file: app.py
pinned: false
license: openrail
---

# Azure OpenAI Wrapping API需求

## 需求:

### General:

1. 紀錄每次API 呼叫, 其目的是要
    1. 成本歸集
    2. 寄出週報讓其主管反饋是否為機敏資料的問題
    3. 做為AI detector 的訓練資料
    
    因此預計要紀錄:
    
    - 使用者或是系統 → unique id
    - 問題與內容
    - Token 數量
    - Model
2. 相同unique id 可以設定自己的prompt template

### Azure OpenAI Retrieval:

1. 上傳檔案並將其內容embedding string 之後, 歸納收到指定collection name
    1. 目前使用local vector DB Chroma
2. 可以刪除指定collection name 的內容
3. 依Collection Name, 查詢己上傳檔案有哪些.
4. Retrieval QA 需要先搜尋該VectorDB Collection Name 內容再詢問LLM
5. 允許上傳臨時檔案:
    1. 數據類: csv(Pandas)
    2. 內容類: PDF, doc 
    
    並且依上傳不同檔案格式, 建立不同agent(pandas, 以及summary) 來提供計算或詢問.
    
6. 可以Summary, 上述上傳之檔案.

### Azure OpenAI Codex:

1. 使用Codex model(e.g. 以目前來說是 `Code-Davinci-002` , 日後可能調整gpt-3.5-turbo)
2. 可指定 `對話` , 或是 `僅回覆code` 兩種不同類型