【图片】3050 4G怎么本地部署deepseek32BQ4_deepseek吧

deepseek吧关注：106,864贴子：188,759

求助

吧友们，我现在这个显存4G部署时总是显示下面这张图。我考虑将4G扩容到8G有可能部署吗？

不管是DS32BQ4还是QWQ32B,Gemma27B都是这样

送TA礼物

IP属地:辽宁

来自Android客户端1楼2025-03-16 17:49回复

纯显存模式
4g显存连3b q4都跑不到4k上下文
32b q4建议24g以上显存部署
3050扩容到8g可以跑7到9b模型的q4
扩容有风险
在本地跑32b模型推荐qwq 32b

IP属地:河南

来自Android客户端2楼2025-03-16 18:09

收起回复

下载贴吧APP
看高清直播、视频！

贴吧热议榜

发表回复

内容:

使用签名档查看全部

发表

保存至快速回贴