2024年底了，有可以本地部署的文本AI了吗

rockstar

要训练对配置要求就高了，随便玩玩可以用koboldcpp，参考https://www.thsink.com/notes/1359/

Eureka

1. 模型和显卡都用半精度推理，可以大幅提速，减少计算压力。

2. ollama 可以多卡推理，显存能合并。72b量化模型需要显存40G+，两张3090就不会爆显存。

3. 本地模型提问得越多，“记忆”就会越多，算力需求就会成倍增长，要考虑显卡计算能力，不能盲目追求大显存。