V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Jinnrry
V2EX  ›  Local LLM

Google Gemma 开源没人讨论下吗?

  •  
  •   Jinnrry · 303 天前 · 6990 次点击
    这是一个创建于 303 天前的主题,其中的信息可能已经有所发展或是发生改变。

    Google 提供训练好的模型下载,7B 模型 6.8G ,公司网络有点慢,还要一会才能下载完,今天不准备干活了,下载模型自己搞个 GPT 试试效果。

    (未来国内会不会瞬间出现一堆自称吊打 ChatGPT 的应用呢?)

    54 条回复    2024-02-26 11:43:18 +08:00
    0TSH60F7J2rVkg8t
        1
    0TSH60F7J2rVkg8t  
       303 天前   ❤️ 1
    在 Huggingface 上,试了下 Gemma ,这家伙特别犟嘴。
    https://imgur.com/a/P2MVpGk
    Aaarnold
        2
    Aaarnold  
       303 天前
    @ahhui 谷歌的模型真的很倔,会一直犟,像吵架一样
    Jinnrry
        3
    Jinnrry  
    OP
       303 天前
    @ahhui
    @Aaarnold 我找了好久,好像没找到二次训练的示例,如果能找到训练集示例和训练工具,那估计真的的百花齐放了
    yanw
        4
    yanw  
       303 天前
    借楼问一下,本地部署这些模型硬件要求是什么
    Jinnrry
        5
    Jinnrry  
    OP
       303 天前   ❤️ 1
    @yanw 官网介绍是 2b 模型 CPU 就能运行,7b 模型使用 GPU 或 TPU 运行,但是没说具体要求。我正在下载模型,下载完我测试下
    reeco
        6
    reeco  
       303 天前
    效果不行,试了几个问题就没兴趣了
    weilongs
        7
    weilongs  
       303 天前
    新基座 狗头
    vicalloy
        8
    vicalloy  
       303 天前
    模型大小摆在那,不用对 7b 有过高的期待。
    这类的模型更多的用处是作为基础模型,训练起来做客服之类的特定用途。
    Jinnrry
        9
    Jinnrry  
    OP
       303 天前 via Android
    @vicalloy 但目前也是开源模型里面最好的了,总有点可玩性
    ospider
        10
    ospider  
       303 天前   ❤️ 2
    @Jinnrry 你从哪儿得出来的结论 Google 的会是开源模型里最好的?
    Jinnrry
        11
    Jinnrry  
    OP
       303 天前 via Android
    @ospider google 自己说的,gemma 官网的对比数据,都是领先的
    ospider
        12
    ospider  
       303 天前
    @Jinnrry 每个模型都会说自己是领先的呀😂
    43n5Z6GyW39943pj
        13
    43n5Z6GyW39943pj  
       303 天前
    @ospider 当然是媒体啦,每天各种模型**第一名 N 种定语
    yorkyoung
        14
    yorkyoung  
       303 天前
    @ahhui 它可能觉得“退出”和“被退出”不是一回事,确实当时说的是迁移到香港继续提供服务。
    0TSH60F7J2rVkg8t
        15
    0TSH60F7J2rVkg8t  
       303 天前
    @yorkyoung 也有可能他说的“Google 搜索在中国仍然可以访问,但可能存在一些限制”指的是必须用 vpn 访问。
    keepRun
        16
    keepRun  
       303 天前 via Android
    其实国内大模型超过 gpt3.5 已经没啥问题了,我经常用感觉是这样的,但是国内问题是技术不够领先,无法在全球产生亮眼成绩,长远看 ai 的头部公司会抢占更多份额,不够强的不去开辟细分市场就等死吧。
    目前看 openai 还有些杀手锏没秀出来,国内公司技术上还有很多地方要追赶
    leaflxh
        17
    leaflxh  
       303 天前
    这么倔是怕催眠成猫娘吗 hhh
    rwecho
        18
    rwecho  
       303 天前 via iPhone
    想配置个电脑跑这种模型,需要什么配置呢,放在卧室,晚上会吵吗
    Jinnrry
        19
    Jinnrry  
    OP
       303 天前 via Android
    @rwecho 电脑吵不吵跟配置有半毛钱关系啊,你搞个分布式水冷,搞一千块 A100 也没声音啊。
    Jinnrry
        20
    Jinnrry  
    OP
       303 天前 via Android
    分体水冷
    Greendays
        21
    Greendays  
       303 天前
    至少是开源的,谷歌还是用回了擅长的老方法
    rnv
        22
    rnv  
       303 天前
    6.8G 是哪个版本的 variation 啊,我下载的 FLAX 版本 7b 模型 12.5G ( https://www.kaggle.com/models/google/gemma/frameworks/flax/variations/7b-it

    LZ 是怎么配置的?我在 github 找到他们的仓库,但看起来文档并不是很细致
    Stoney
        23
    Stoney  
       303 天前 via iPhone
    @ahhui 其实谷歌不需要 vpn 也可以访问,使用域前置找到 Google ip 就可以访问了,昨天我试了,打开 maps.google.com 直接显示的中国
    siriussilen
        24
    siriussilen  
       303 天前
    中文社区讨论大部分都在知乎上
    siriussilen
        25
    siriussilen  
       303 天前
    @keepRun gpt3.5 是 20B 的模型……
    Jinnrry
        26
    Jinnrry  
    OP
       303 天前 via Android
    @rnv 我下载的 pytroch 版本的,他这几个框架只有这个是我用过的。我目前也还没跑起来,正在研究
    vivisidea
        27
    vivisidea  
       303 天前
    https://huggingface.co/chat

    实际体验下来我认为只有这个模型是最接近 gpt3.5 的,而且速度也挺快,google 的这个体验不太行
    mistralai/Mixtral-8x7B-Instruct-v0.1
    CatCode
        28
    CatCode  
       303 天前
    7B 模型( bf16 )不量化的话,16G 显存不够。
    starssending0z
        29
    starssending0z  
       303 天前
    @ahhui 笑死了,犟嘴😂
    Haku
        30
    Haku  
       303 天前
    效果不咋地,小一点的模型已经很多了,之前用的 chatglm6b 中文感觉也比这个强。
    人人大模型的机遇早就来了,但是人人 chatgpt 的还很远。
    87B3F508
        31
    87B3F508  
       303 天前
    @starssending0z 还特别犟的那种。。。
    >>> 模仿李白写首诗
    如夜幕洒满天,如繁星点点。
    如春风拂过枝头,如花朵轻舞。
    如月明照地表,如星星点亮夜。
    如鱼儿在波光中,如鸟儿在枝头歌唱。
    如眼眸在窗外,如耳语在耳边。
    如梦如幻,如幻如梦。
    如山如海,如空如床。

    >>> 模仿李白写首诗,不要包含“如”字
    如烟消云散,如水流春。
    如歌鸟在枝,如花落满园。
    如梦如幻,如幻如梦。
    如山如海,如空如床。
    如笑如泪,如泪如笑。
    如虫如草,如草如虫。
    leeg810312
        32
    leeg810312  
       303 天前
    @ahhui
    @Aaarnold hh ,和 ChatGPT 相反,你反驳,ChatGPT 就说你说的对,我是错的
    leeg810312
        33
    leeg810312  
       303 天前
    比较犟,但模型小,用来训练专用系统挺合适的,比如企业内部问答、外部客服这样的,这些系统只能基于企业自己的知识库训练,生成不能受用户输入的影响太大
    Alias4ck
        34
    Alias4ck  
       303 天前
    sztink
        35
    sztink  
       303 天前
    huggingface 提供了免费测试 Gemma 的聊天演示工具: https://huggingface.co/chat?model=google/gemma-7b-it
    87B3F508
        36
    87B3F508  
       303 天前
    用 ollama 试用挺方便的
    marcong95
        37
    marcong95  
       303 天前
    @ahhui 会不会有一种可能,港澳台地区也是中国呢~~~考虑到这一点,它倒是确实没有犟错,你可以再进一步问有什么限制。
    isSamle
        38
    isSamle  
       303 天前
    我觉得现在的大模型都是畸形的,应该训练响应模式而不应该训练响应内容。
    CivAx
        39
    CivAx  
       303 天前   ❤️ 1
    这种小参数规模的低智模型比较理想的用处是当帕鲁,比如:

    - 提供一批散装数据,让 AI 给你解读、提炼或者整理,比如给一堆金融数据让 AI 给你算实际年化;
    - 给 AI 提数学问题,如 “本金 xx 、利息 xx ,年利息多少?” 这种你提供输入参数,让 AI 给你跑结果,甚至可以给出你期望的结果,让 AI 为你倒推出代码可用的计算公式的,比如灯亮度变化、电压输入和旋钮步进的计算关系;
    - 生成 Pyton 代码( Google 特别指出 Gemma 的 Python 代码生成的指标很高);
    - 对不具备时效性需求的问题,直接当搜索引擎用,如 “蓝风铃跟风铃花有关系吗”

    这种有唯一答案、需要人工择选(而 AI 往往已经被训练过)的问题,他们是真的答得又快又好。

    那种需要回答具有创造性(写诗)、非理性(化纤材质毛衣还是晴纶材质毛衣好)、概念宽泛(谷歌在中国能不能访问)的问题,这类 AI (包括 ChatGPT )基本都是智熄的,只是智熄程度和角度不同。
    cloverzrg2
        40
    cloverzrg2  
       303 天前
    试了下,跟 GPT3.5 对比很烂

    问了三个问题,回答都有问题
    cloverzrg2
        41
    cloverzrg2  
       303 天前
    比如问他:“我在一个小储存的 linux 设备测试网速,用 wget 或者 curl ,请问如何做?”

    GPT 3.5:curl -o /dev/null http://example.com/file

    Gemma 7B:curl -o speedtest.txt -c 'speedtest'
    Liftman
        42
    Liftman  
       303 天前
    基本上国外的模型都不用试。。。。一中文能力要么没有,要么极差。实际应用落地渺茫

    且才 7B 。太 mini 了。你自己训练知识库还行。不然没什么用。。

    而且我感觉现在的人还是太高估 llm 了。。吹牛逼吹了一年了。目前能有几个公司真落地到实际工作流里面的。。几乎没有。。大部分人连用都不会用。。还是原地踏步。。
    zouywx86
        43
    zouywx86  
       303 天前
    @CivAx 非常同意这位兄弟的观点,本地 AI 当个助手就很好用。非要让它给你当导师,那是真的给自己找不痛快
    hiccup00
        44
    hiccup00  
       303 天前 via Android
    用 c++和 ollama 试了下,希望有大佬能弄个 webui 的
    shuimugan
        45
    shuimugan  
       303 天前 via Android
    规模太小了上限注定就那样,等 70B 以上规模的发布再看。我在等 https://www.phind.com/blog/introducing-phind-70b 这个开源
    daimaosix
        46
    daimaosix  
       303 天前
    倔的跟个杠坨似的,服了它个老六
    coinbase
        47
    coinbase  
       303 天前
    gpt4 是多少 b 的?
    wonderfulcxm
        48
    wonderfulcxm  
       303 天前 via iPhone
    这个差太多了:
    >幸福人用童年治愈一生,不幸的人用一生治愈童年。这句话是谁说的?
    这是孔子说的。

    孔子说过,“幸福人用童年治愈一生,不幸的人用一生治愈童年”。
    mhj144007
        49
    mhj144007  
       303 天前 via iPhone
    与 ChatGPT 有差距,不过回答页面刷新很快,GPT 码字慢一点


    iango
        50
    iango  
       303 天前
    Gemma 2B 能不能在十几年前的 Intel Core 2 E7000 、4G 内存老计算机上运行?
    进行微调用于分析特定局域的地址?例如知道地址"富贵园 888 号",通过预训练的“富贵豪园-->北京路”,判断地址在北京路。
    smalltong02
        51
    smalltong02  
       303 天前
    我的开源项目已经支持 gemma ,并且提供了 Webui 。整体测试下来效果一般,没有经过微调的话很多任务无法完成测试,并且也拥有小模型的通病,输出 token 停不下来。并且 gemma 7b 输出是乱码,我试过 LM Studio ,也是这个情况,所以感觉像是模型的问题。

    https://github.com/smalltong02/keras-llm-robot

    我这个项目支持 safetensors 的模型,如果你想使用 gguf 的模型,可以使用 LM Studio 最新版。
    Alias4ck
        52
    Alias4ck  
       303 天前
    用下来感受到一点,2b 模型很快,没网的话感觉可以用来当本地的搜索引擎
    GeekGao
        53
    GeekGao  
       302 天前
    效果不是很理想,理解能力上有时候不如 mistral-7b
    snowflake007
        54
    snowflake007  
       300 天前
    中文问答体验还是很差吧
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5500 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 33ms · UTC 01:36 · PVG 09:36 · LAX 17:36 · JFK 20:36
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.