启动API服务

通过py文件启动

可以通过直接执行api.py文件启动API服务，默认以ip:0.0.0.0和port:7861启动http和ws服务。

python api.py

同时，启动时支持StartOption所列的模型加载参数，同时还支持IP和端口设置。

python api.py --model-name chatglm-6b-int8 --port 7862

通过cli.bat/cli.sh启动

也可以通过命令行控制文件继续启动。

cli.sh api --help

其他可设置参数和上述py文件启动方式相同。

以https、wss启动API服务

本地创建ssl相关证书文件

如果没有正式签发的CA证书，可以安装mkcert工具，然后用如下指令生成本地CA证书：

mkcert -install
mkcert api.example.com 47.123.123.123 localhost 127.0.0.1 ::1

默认回车保存在当前目录下，会有以生成指令第一个域名命名为前缀命名的两个pem文件。

附带两个文件参数启动即可。

python api --port 7862 --ssl_keyfile api.example.com+4-key.pem --ssl_certfile api.example.com+4.pem

./cli.sh api --port 7862 --ssl_keyfile api.example.com+4-key.pem --ssl_certfile api.example.com+4.pem

此外可以通过前置Nginx转发实现类似效果，可另行查阅相关资料。