中文  ｜  English 

欢迎访问360智脑官网 https://ai.360.com 体验更多更强大的功能。

## 网页 Demo 也可使用网页交互实现快速体验 ```shell streamlit run web_demo.py ```

## API Demo 启动命令 ```shell python openai_api.py ``` 请求参数 ```shell curl --location --request POST 'http://localhost:8360/v1/chat/completions' \ --header 'Content-Type: application/json' \ --data-raw '{ "max_new_tokens": 200, "do_sample": true, "top_k": 0, "top_p": 0.8, "temperature": 1.0, "repetition_penalty": 1.0, "messages": [ { "role": "user", "content": "你叫什么名字" } ] }' ``` # 模型推理 ## 模型量化 我们提供了基于AutoGPTQ的量化方案，并开源了Int4量化模型。模型的效果损失很小，但能显著降低显存占用并提升推理速度。 对BF16，Int8和Int4模型在基准评测上做了测试，结果如下所示： | Quantization | MMLU | CEval (val) | GSM8K | Humaneval | |-|-|-|-|-| | 360Zhinao-7B-Chat-4K (BF16) |-|-|-|-| | 360Zhinao-7B-Chat-4K (Int8) |-|-|-|-| | 360Zhinao-7B-Chat-4K (Int4) |-|-|-|-| ## 模型部署 ### vLLM安装环境 如希望部署及加速推理，我们建议你使用 `vLLM==0.3.3`。 如果你使用**CUDA 12.1和PyTorch 2.1**，可以直接使用以下命令安装vLLM。 ```shell pip install vllm==0.3.3 ``` 否则请参考vLLM官方的[安装说明](https://docs.vllm.ai/en/latest/getting_started/installation.html)。 >安装完成后，还需要以下操作~ 1. 把vllm/zhinao.py文件复制到env环境对应的vllm/model_executor/models目录下。 2. 然后在vllm/model_executor/models/\_\_init\_\_.py文件增加一行代码 ```shell "ZhinaoForCausalLM": ("zhinao", "ZhinaoForCausalLM"), ``` ### vLLM服务启动 启动服务 ```shell python -m vllm.entrypoints.openai.api_server \ --served-model-name 360Zhinao-7B-Chat-4K \ --model qihoo360/360Zhinao-7B-Chat-4K \ --trust-remote-code \ --tensor-parallel-size 1 --max-model-len 18000 \ --host 0.0.0.0 \ --port 8360 ``` 使用curl请求服务 ```shell curl http://localhost:8360/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{ "model": "360Zhinao-7B-Chat-4K", "max_tokens": 200, "top_k": 0, "top_p": 0.8, "temperature": 1.0, "presence_penalty": 0.0, "frequency_penalty": 0.0, "messages": [ {"role": "system", "content": "You are a helpful assistant."}, {"role": "user", "content": "你好"} ], "stop": [ "", "<|im_end|>", "<|im_start|>" ] }' ``` 使用python请求服务 ```python from openai import OpenAI # Set OpenAI's API key and API base to use vLLM's API server. openai_api_key = "EMPTY" openai_api_base = "http://localhost:8000/v1" client = OpenAI( api_key=openai_api_key, base_url=openai_api_base, ) chat_response = client.chat.completions.create( model="360Zhinao-7B-Chat-4K", messages=[ {"role": "system", "content": "You are a helpful assistant."}, {"role": "user", "content": "你好"}, ], stop=[ "", "<|im_end|>", "<|im_start|>" ], presence_penalty=0.0, frequency_penalty=0.0 ) print("Chat response:", chat_response) ``` > 注意：如需要开启重复惩罚，建议使用 *presence_penalty* 和 *frequency_penalty* 参数。 # 模型微调 ## 训练数据 我们提供了微调训练样例数据 data/test.json，该样例数据是从 [multiturn_chat_0.8M](https://huggingface.co/datasets/BelleGroup/multiturn_chat_0.8M) 采样出 1 万条，并且做了格式转换。 数据格式: ```json [ { "id": 1, "conversations": [ { "from": "system", "value": "You are a helpful assistant." }, { "from": "user", "value": "您好啊" }, { "from": "assistant", "value": "你好！我今天能为您做些什么？有什么问题或需要帮助吗? 我在这里为您提供服务。" } ] } ] ``` ## 微调训练 训练脚本如下： ```shell set -x HOSTFILE=hostfile DS_CONFIG=./finetune/ds_config_zero2.json # PARAMS LR=5e-6 EPOCHS=3 MAX_LEN=4096 BATCH_SIZE=4 NUM_NODES=1 NUM_GPUS=8 MASTER_PORT=29500 IS_CONCAT=False # 是否数据拼接到最大长度（MAX_LEN） DATA_PATH="./data/training_data_sample.json" MODEL_PATH="qihoo360/360Zhinao-7B-Base" OUTPUT_DIR="./outputs/" deepspeed --hostfile ${HOSTFILE} \ --master_port ${MASTER_PORT} \ --num_nodes ${NUM_NODES} \ --num_gpus ${NUM_GPUS} \ finetune.py \ --report_to "tensorboard" \ --data_path ${DATA_PATH} \ --model_name_or_path ${MODEL_PATH} \ --output_dir ${OUTPUT_DIR} \ --model_max_length ${MAX_LEN} \ --num_train_epochs ${EPOCHS} \ --per_device_train_batch_size ${BATCH_SIZE} \ --gradient_accumulation_steps 1 \ --save_strategy steps \ --save_steps 200 \ --learning_rate ${LR} \ --lr_scheduler_type cosine \ --adam_beta1 0.9 \ --adam_beta2 0.95 \ --adam_epsilon 1e-8 \ --max_grad_norm 1.0 \ --weight_decay 0.1 \ --warmup_ratio 0.01 \ --gradient_checkpointing True \ --bf16 True \ --tf32 True \ --deepspeed ${DS_CONFIG} \ --is_concat ${IS_CONCAT} \ --logging_steps 1 \ --log_on_each_node False ``` ```shell bash finetune/ds_finetune.sh ``` - 可通过配置hostfile，实现单机、多机训练。 - 可通过配置ds_config，实现zero2、zero3。 - 可通过配置fp16、bf16实现混合精度训练，建议使用bf16，与预训练模型保持一致。 - 可通过配置is_concat参数，控制训练数据是否拼接，当训练数据量级较大时，可通过拼接提升训练效率。 # 许可证 本仓库源码遵循开源许可证Apache 2.0。 360智脑开源模型支持商用，若需将本模型及衍生模型用于商业用途，请通过邮箱（g-zhinao-opensource@360.cn）联系进行申请， 具体许可协议请见[《360智脑开源模型许可证》](./360智脑开源模型许可证.txt)。