高通吧 关注:181,470贴子:4,695,675
  • 13回复贴,共1

M3 Ultra逆天0提升,又是小丑皇?

只看楼主收藏回复



IP属地:上海来自Android客户端1楼2025-03-12 14:29回复
    这张图里有提升,但是数据疑似有问题。M2 Ultra跑llama 70B实际上可以15 T/S,这样看下来又是0提升?


    IP属地:上海来自Android客户端2楼2025-03-12 14:31
    回复
      2025-07-31 19:24:56
      广告
      不感兴趣
      开通SVIP免广告
      唯一提升可能是ultrafusion,M1和M2系的ultrafusion太慢了,跑很多模型效率一坨。。。效率远远低于跑图形benchmark


      IP属地:上海来自Android客户端3楼2025-03-12 14:34
      回复
        大兄弟是不知道LLM单用户decode是纯粹访存带宽瓶颈吗。M3 Ultra相比M2 Ultra在内存规格上0提升,都是1024bit LPDDR5 6400,LLM decode有很大提升才奇怪。。。


        IP属地:北京4楼2025-03-12 17:26
        收起回复
          跑这玩意瓶颈在内存带宽啊


          IP属地:广东来自Android客户端5楼2025-03-12 18:22
          回复
            有提升才奇了怪了,这种token速度都可以直接用带宽算出来个大概


            IP属地:内蒙古6楼2025-03-12 19:45
            回复
              m3u的价值是支持到512gb能跑deepseek r1 全参数 4比特版本。


              IP属地:上海来自iPhone客户端7楼2025-03-12 19:48
              回复
                推理瓶颈主要在带宽上,m3ultra单跑671b q4版本也是这个速度


                IP属地:四川来自iPhone客户端8楼2025-03-12 22:25
                收起回复
                  2025-07-31 19:18:56
                  广告
                  不感兴趣
                  开通SVIP免广告
                  带宽瓶颈


                  IP属地:加拿大来自iPhone客户端9楼2025-03-12 22:43
                  回复
                    提升就一个 512gb,卖的最多的也就是这个版本


                    IP属地:江苏来自iPhone客户端10楼2025-03-16 16:10
                    回复