vicuna 模型的中文比 gpt3.5 差好多

[AnyThingElae]

尝试部署了 vicuna 模型,并提问

提问 vicuna

user We have provided context information below: 除指定的吸烟区域以外，公司内所有办公区域、卫生间禁止吸烟 Given this information, Please answer my question in the same language that I used to ask you. and if the answer is not contained within the text below, say 我不知道.Please answer the question:卫生间能不能吸烟

vicuna 模型的回答

我不知道
或者
我不知道。根据您提供的信息,卫生间禁止吸烟,但是我没有看到就折方面的明确规定

gpt3.5 的回答

禁止在卫生间吸烟

这中文理解别说 gpt4 了,gpt3.5 也是打不过

[yinmin]

目前能用于生产力的只有 chatgpt 、claude 、bard （还未支持中文），其他的目前都是玩具而已。

[AnyThingElae]

@yinmin 很遗憾的确是这样

[Volekingsg]

Vicuna 的基座模型 LLaMA 本来就不咋会中文，所有才会有二次预训练的 Chinese-LLaMA https://github.com/ymcui/Chinese-LLaMA-Alpaca/。另外 SFT 的 ShareGPT 中文数据也较少。

[AnyThingElae]

@Volekingsg 这个模型部署测试了下，感觉还是没有达到可用于生产的程度，估计需要在这基础上再次进行训练才行

[makefei]

@AnyThingElae @yinmin
我测试了下 vicuna 13B 的模型，效果还可以啊，区别在于 prompt 微调结构化些，增加了 [] 和 -- 符号，让模型更容易理解区分意图

user：
We have provided context information below:
[除指定的吸烟区域以外，公司内所有办公区域、卫生间禁止吸烟]
--
Given this information, Please answer my question in the same language that I used to ask you. and if the answer is not contained within the text below, say 我不知道.
--
Please answer the question:卫生间能不能吸烟

vicuna：
根据给出的上下文信息：「除指定的吸烟区域以外，公司内所有办公区域、卫生间禁止吸烟」，卫生间禁止吸烟。

[AnyThingElae]

@makefei 谢谢，我待会去试试效果

[wapollo9]

@makefei
大佬我想吧 Chinese-Vicuna-13B 接入 webui ，有没有融合模型的教程呀