发布日期:2025-03-18 13:37 点击次数:129
中证报中证网讯(记者孟培嘉)3月17日,联思文牍旗下首款AMD AI大模子考试职业器联思问天WA7785a G3在单机部署671B(满血版)DeepSeek大模子时,可完了极限糊涂量6708token/s,将单台职业器启动大模子的性能推向新高。
据悉,依托联思万全异构智算平台,联思通过访存优化、显存优化、PCIe 5.0全互联架构改革以及精选SGLang框架中性能最优算子等诸多改革容貌,对大模子从预考试、后考试到推理的全经由进行捏续优化,在模拟问题对话场景时,最高可支捏并发数158,TPOT 93毫秒,TTFT 2.01秒;而在模拟代码生成时,并发数可达140,TPOT 100毫秒,TTFT 5.53秒。
这一获利意味着,单台联思问天WA7785a G3不错撑捏1500东谈主领域企业的肤浅使用外出,是继联思问天WA7780 G3职业器单机部署满血版DeepSeek大模子总糊涂量冲破2500 token/s后,单机部署该大模子推感性能的又一次冲破。