使用官方提供的Llama-2-7b-chat,通过colab,进行HF格式转换。目的是为了自己学习使用。

只需要修改Llama-2 的不同版本,就可以进行格式转换,并且上传到huggingface上。对比官方的转换结果,会有所不同,官方的HF版本提供2种格式,pickle和safetensors 格式。pickle有安全隐患,所以就只转换成safetensors 格式

notebook分享:

Llama_2原始模型转换HF格式.ipynb

大家使用和测试的时候,需要更换你的hugingface的token。如果上传大模型,需要token有写入权限。

无需GPU,但是需要High memery。

官方提供的转换脚本,转换保存的文件格式是pickle格式, 这种格式不安全,需要修改脚本,直接转换成safetensors 格式。上面colab,已经进行了修改。

HF转换脚本

Downloads last month
10
Safetensors
Model size
6.74B params
Tensor type
BF16
·
Inference Providers NEW
This model is not currently available via any of the supported Inference Providers.