smalltong02 最近的时间轴更新 smalltong02 最近的时间轴更新 |
smalltong02V2EX 第 673310 号会员，加入于 2024-01-25 23:55:22 +08:00今日活跃度排名 14217
 57  |
github.com/smalltong02
smalltong02
I like windows kernel, llvm, machine learning and deep learning
| 闲来无事，用 AI 创建了个视频给大家娱乐一下。 程序员 • smalltong02 • 7 小时 29 分钟前 • 最后回复来自 smalltong02 | 2 |
| 对 Llama-3-8B 模型在指令跟随方面的测试。 程序员 • smalltong02 • 4 天前 • 最后回复来自 qinfengge | 16 |
| 本地代码解释器的演示 程序员 • smalltong02 • 74 天前 |
| 请问在本网站上怎么插入图片，还有我发贴子稍微写长一点就说我注册不足 30 天，这个怎么解决？是否有特殊秘籍可以绕过？ 新手求助 • smalltong02 • 79 天前 • 最后回复来自 smalltong02 | 6 |
| 我的大语言模型开源项目，希望大家来支持一波！
2 分享创造 • smalltong02 • 82 天前 • 最后回复来自 smalltong02
|
11 |
| 测试了可离线部署的本地多模态模型"Qwen-VL-Chat" 程序员 • smalltong02 • 96 天前 • 最后回复来自 smalltong02 | 3 |
| 如果大家觉得我这个机器学习项目还不错，可以帮忙做下推广吗？ 程序员 • smalltong02 • 74 天前 • 最后回复来自 smalltong02 | 1 |
| 有使用 Rust 开发手机端软件的资料吗？ 程序员 • smalltong02 • 97 天前 • 最后回复来自 smalltong02 | 10 |
smalltong02 最近回复了
7 小时 29 分钟前 回复了 smalltong02 创建的主题 › 程序员 › 闲来无事，用 AI 创建了个视频给大家娱乐一下。 |
7 小时 49 分钟前 回复了 xe2vforesu 创建的主题 › 程序员 › 这大约是独立开发的顶流了吧， v 友们怎么看 |
只有游离在法律的边缘才能赚大钱吗？
4 天前 回复了 smalltong02 创建的主题 › 程序员 › 对 Llama-3-8B 模型在指令跟随方面的测试。 |
4 天前 回复了 smalltong02 创建的主题 › 程序员 › 对 Llama-3-8B 模型在指令跟随方面的测试。 |
@secondwtq
经过测试 Llama-3 和 Phi-3 都能够和 Function Calling 和代码解释器一起使用。其实 Function Calling 对模型的能力要求要低一些，代码解释器要求模型的能力要高一些。对于 Function Calling ，大部分模型在几轮对话之后都会失去调用 Function 的能力，只有 GPT-4 模型在这块做的是最好的。
经过测试 Llama-3 和 Phi-3 都能够和 Function Calling 和代码解释器一起使用。其实 Function Calling 对模型的能力要求要低一些，代码解释器要求模型的能力要高一些。对于 Function Calling ，大部分模型在几轮对话之后都会失去调用 Function 的能力，只有 GPT-4 模型在这块做的是最好的。
4 天前 回复了 smalltong02 创建的主题 › 程序员 › 对 Llama-3-8B 模型在指令跟随方面的测试。 |
@kenshinhu
7B 模型如果不进行量化，仅仅使用 16G 的显存加载模型并推理不太够用，尤其是 Linux 系统，必须要保证显存足够。如果是 windows 系统，是会向内存借用一部分保证不会报内存不足错误，但也会导致推理降速。建议 7B 模型使用 3090 或者 4090 显卡进行测试。
7B 模型如果不进行量化，仅仅使用 16G 的显存加载模型并推理不太够用，尤其是 Linux 系统，必须要保证显存足够。如果是 windows 系统，是会向内存借用一部分保证不会报内存不足错误，但也会导致推理降速。建议 7B 模型使用 3090 或者 4090 显卡进行测试。
5 天前 回复了 smalltong02 创建的主题 › 程序员 › 对 Llama-3-8B 模型在指令跟随方面的测试。 |
5 天前 回复了 smalltong02 创建的主题 › 程序员 › 对 Llama-3-8B 模型在指令跟随方面的测试。 |
@lanlanye
量化模型最主要的问题就是精度会有一些损失，有点类似于有损压缩。两个数据很近的话，比如第一个是 0.2385637 ，第二个是 0.2385644 ，那么量化之后很可以这两个值都落在同一个 int 值上面，这就会造成精度损失。量化模型偶尔会有输出乱或者不停止，通常就是这种问题造成的。
量化模型最主要的问题就是精度会有一些损失，有点类似于有损压缩。两个数据很近的话，比如第一个是 0.2385637 ，第二个是 0.2385644 ，那么量化之后很可以这两个值都落在同一个 int 值上面，这就会造成精度损失。量化模型偶尔会有输出乱或者不停止，通常就是这种问题造成的。
5 天前 回复了 smalltong02 创建的主题 › 程序员 › 对 Llama-3-8B 模型在指令跟随方面的测试。 |
@SylarQAQ
我的这个项目偏向于对热门模型进行各种任务测试并可进行横向比较用的，更倾向于摸清模型在各种任务中的实际表现。
比如你在使用其它开源项目的时候可能会有这样的烦恼。比如 text-generation-webui 项目，它可以适配大部分的离线模型，但不支持在线模型。LM Studio 项目，它可以使用 CPU 跑任何模型，但它仅支持 GGUF 格式模型。ComfyUI 对图像模型的支持生成非常专业，但它仅此而已。Open Interpreter 项目可以让你在本地运行代码解释器，但它仅仅支持 GPT-4 等在线模型，离线模型需要接入其它开源项目。
当你想对不同的模型（包括在线模型和各种离线模型）在相同环境下测试 RAG 任务，接入代码解释器，使用 Function Calling ，搜索引擎，或者接入 TTS ，生成图像的时候，你发现你需要使用一个或者多个开源项目互相配合才能达到目的，并且很可能多个开源项目还无法同时接入。当你想比较离线模型和 GPT-4 ，Gemini 这种闭源在线模型在搭配相同工具在各种任务中表现差异的时候，你会发现很难或者可能根本就做不到。
我的这个开源项目就是针对这类问题才做的，它可以加载各种在线模型，也支持各种热门的离线模型（包括量化模型）。
并且提供了相同的工具，包括
1. 接入搜索引擎
2. Function Calling
3. 角色扮演
4. 代码解释器
5. 接入 TTS （语音输入和输出）
6. 接入图像识别模型
7. 接入图像生成模型
举例说明：
这是一个早期的例子，将图像模型接入 llama-2-7b-chat 模型，让它也可以想多模态模型那样，拥有从图像生成另一幅图像的能力：
我的这个项目偏向于对热门模型进行各种任务测试并可进行横向比较用的，更倾向于摸清模型在各种任务中的实际表现。
比如你在使用其它开源项目的时候可能会有这样的烦恼。比如 text-generation-webui 项目，它可以适配大部分的离线模型，但不支持在线模型。LM Studio 项目，它可以使用 CPU 跑任何模型，但它仅支持 GGUF 格式模型。ComfyUI 对图像模型的支持生成非常专业，但它仅此而已。Open Interpreter 项目可以让你在本地运行代码解释器，但它仅仅支持 GPT-4 等在线模型，离线模型需要接入其它开源项目。
当你想对不同的模型（包括在线模型和各种离线模型）在相同环境下测试 RAG 任务，接入代码解释器，使用 Function Calling ，搜索引擎，或者接入 TTS ，生成图像的时候，你发现你需要使用一个或者多个开源项目互相配合才能达到目的，并且很可能多个开源项目还无法同时接入。当你想比较离线模型和 GPT-4 ，Gemini 这种闭源在线模型在搭配相同工具在各种任务中表现差异的时候，你会发现很难或者可能根本就做不到。
我的这个开源项目就是针对这类问题才做的，它可以加载各种在线模型，也支持各种热门的离线模型（包括量化模型）。
并且提供了相同的工具，包括
1. 接入搜索引擎
2. Function Calling
3. 角色扮演
4. 代码解释器
5. 接入 TTS （语音输入和输出）
6. 接入图像识别模型
7. 接入图像生成模型
举例说明：
这是一个早期的例子，将图像模型接入 llama-2-7b-chat 模型，让它也可以想多模态模型那样，拥有从图像生成另一幅图像的能力：
5 天前 回复了 smalltong02 创建的主题 › 程序员 › 对 Llama-3-8B 模型在指令跟随方面的测试。 |
@fredweili 是的，而且这次 MS 的 Phi-3 也不错，3B 的模型也都可以完成这些任务，只不过成功率低一些。
Select Language