请问7B的中文性能和ChatGLM2-6B相比如何呢？可以出一个微调教程吗？
#6
by
SQJKL
- opened
我想让这个模型掌握新语言的翻译功能，请问微调的时候只拿中文和目标语言对话的数据集可以做到吗？还是需要喂中文和目标语言的一一对照的句子（加上词性标注之类的），数据集大概几千个对话，请问数据集够吗？
可以参考：https://github.com/LinkSoul-AI/Chinese-Llama-2-7b#%E5%A6%82%E4%BD%95%E8%AE%AD%E7%BB%83
您的目标语言指的是什么语言？如果是更小众的语言，可能得试试看，llama2如果没有见过太多对应的语言，很可能finetune不出来的。训练数据一般不需要一一对应的数据，而是用continual training或sft，其中sft需要足够的task数量，而不是单一的跨语言文本对。