[网站自荐] LLM Coder Scorer: 一个免费的 GitHub 代码打分工具

[going2think]

网址： https://lcs.simpleai.site/

背景介绍

为了找出开源代码仓库存在的问题（缺少证书，缺少文档，缺少测试，代码质量不高）并加以改进，我搭建了一个基于 LLM 来自动分析代码仓库并打分的网站，欢迎大家使用，提意见。

效果截图

实现细节

1. Clone 仓库
2. 将仓库中的代码、文档、证书、测试例子等按照固定的格式，写成一个总结文档
3. 设计给大模型的 PROMPT 提示词规范
4. 将 PROMPT+总结文档喂给大模型（这里用的是智谱的免费模型 GLM-4-Flash)，大模型返回 json 格式的打分结果
5. 网页渲染 json 结果，得到最终的输出

Features

1. 打分维度考虑全面，包括代码质量、仓库大小、Git Commit 规范、文档、测试、开源证书等方面
2. 基于大模型的打分并给出了建议，可以根据建议来改进代码质量
3. 有结果保存成图片的功能，方便记录
4. 代码开源，源代码地址: https://github.com/vra/llm-code-scorer

欢迎各位开发者访问使用，非常期待你的反馈意见，也希望这个仓库给大家一些开发 AI 工具的启发，也欢迎有经验的同行多指教

[wonderfulcxm]

试了一下，第一次打分失败，第二次打了 6.5 分。
https://github.com/vra/llm-code-scorer

[going2think]

@wonderfulcxm 感谢使用，打分失败可能是代码 clone 失败或者大模型返回的格式不是标准的 JSON 导致的解析出错，可以再次尝试一下；对这个代码仓库目前没有加测试，打分比较低😂

[qingzhan]

试了几次，总算成功了～点子挺好的，点个赞，可以试试出个类似于图片生成然后贴到仓库里的那种，感觉会火～


[you222]

是将仓库中的完整代码都写进总结文档吗，文本这么长是怎么一次性喂给大模型的

[going2think]

@qingzhan 感谢试用❤️～我觉得这个点子之前提到的人比较少，功能做好了确实会挺有用的，不过目前这个网站做的还不够好，主要是打分区分度不够，免费的大模型给的建议还不算太有用，只能算是一个概念验证级别的东西，希望后面有别的产品化的类似工具出来

[going2think]

@you222 是选择了部分文件来喂给大模型，具体实现在这里 https://github.com/vra/llm-code-scorer/blob/main/src/ai_code_scorer.py#L254

[eyelly]

哈哈哈，感觉有点意思

[going2think]

@eyelly 感谢使用❤️现在还是原型验证阶段，欢迎使用并提建议～