AI模型自己本地运行和直接使用官网API的效果一样的吗

redneck · 发表于前天 21:28

一样吗？

akatom · 发表于前天 21:42

一样的吧

hkvip8 · 发表于前天 21:42

不一样，本地搭建的模型，你能感觉到呆板没有灵魂，和对接官网api不一样。本地模型需要训练，联网搜索，学习等等。

宁静致远 · 发表于昨天 10:02

试用装和正式版。

DataCenter · 发表于昨天 10:10

本地能跑的参数很少，云厂商一般都几百B的超大模型

lotus · 发表于昨天 11:31

4块4090勉强能跑

jiao1396009596 · 发表于昨天 11:38

你本地跑不起来官网满血的模型成本太高还不如api

ATOM · 发表于昨天 11:42

性能当然官方好，但是可用量当然是本地无限制。

日本人 · 发表于昨天 19:15

同一模型效果基本一样，本地反而更稳定不会被限流。不过本地跑看显卡，70b以上没48g显存别想流畅。api方便但高峰期会堵，有些模型api根本不提供。本地建议用llama.cpp量化版，3080以上显卡能跑32b。

		自动登录	找回密码
密码			注册