流出的类 GPT 模型 LLaMA 的运行效果

ByteCat

相信大家都已经下载了 LLaMA 的模型来玩了，我今天也玩了一下，效果其实和想象的差很多。

运行环境：
GPU: RTX 4090
Weight: LLaMA-7B
在默认 FP16 下运行，会占用 22GB 左右的显存

总结：英文补全勉强能看，但好像还是挺差的，中文补全直接胡言乱语，和 GPT-3 相距甚远，可能还要作为模型基础继续针对训练，对普通用户来说基本没什么可用性

5700pgf

下不动，更关键是没卡。。。。

ByteCat

5700pgf 发表于 2023-3-5 18:36
下不动，更关键是没卡。。。。

下载还好吧，我用qb直接跑满带宽了，主要是效果有点拉，而且有点烧钱，我用 4090 的24G才跑动最小的7B模型……

小旭

人家烧掉上百亿才出现目前的程度 而且每天还在增加 自己玩儿根本不行 除非数据全部拿到

WZ-Software

下不动，老哥能传一份网盘分流一下吗

5700pgf

ByteCat 发表于 2023-3-5 18:52
下载还好吧，我用qb直接跑满带宽了，主要是效果有点拉，而且有点烧钱，我用 4090 的24G才跑动最小的7B模 ...

好像是有这个问题，QB可以下，ARIA2下不动，之前我有看到别人这样说

52naiba

gpt好像170多PB的数据，

colla

效果好的肯定不会放出来

antbt

想达到GPT的效果，家里没矿就别想了；人家把算法和训练模型给你，你也运行不起来