chat_template.jinja
#39
by
YuboWang
- opened
我看到代码里确实是有apply_chat_template的函数的，但是不太知道怎么将其翻译为jinja格式的模板，我现在用vllm运行该模型，然后模板使用的是网上有人提供的GLM3的模板，如下。不知道能否share下GLM-4-Chat的jinja模板
{% for message in messages %}
{{'<|' + message['role'] + '|>' + '\n' + message['content'] + '\n' }}
{% endfor %}
{{ '<|assistant|>' }}
目前用不了，能用我们早就写了jinjia了因为他更符合大众的使用习惯，因为我们的对话格式中还有一个metadata字段构建
#31 可以参考
看到你修复了这个部分，我测试一下
测试完了，那个PR里可以把原始的函数注释而不是删除？这样不影响chat_template同时保留了原始的实现，如果有人需要可以重新解除注释
我这测试能正常使用
zRzRzRzRzRzRzR
changed discussion status to
closed