近日,可观测与应用安全厂商基调,利用基调听云拨测工具,模拟真实用户的主动监控,从网络性能、接口响应时间、推理速度、内容生成速度等多个关键指标,对多家厂商提供的DeepSeek-R1 API 服务进行了深入测试。
根据测试后发布的《大模型服务性能评测 DeepSeek-R1 API版》第一期显示,本次共对北京、上海、广州、深圳、重庆、苏州、成都等多个城市的DeepSeek-R1 API 服务进行了测试,采集指标方面,通过API返回的数据计算出来的指标包含:平均速度(tokens/s)、首 Token 时间(s)、推理速度(tokens/s)、生成速度(tokens/s),而通过听云拨测客户端计算的指标包含:DNS 时间(s)、建连时间(s)、握手时间(s)、发出请求时间(s)、首包时间(s)、剩余包时间(s)、性能(s) 和可用性(%)。
参加测试的厂商包括火山引擎、DeepSeek官方、硅基流动、腾讯云、阿里云百炼。
在深圳本地的测试中,可用性方面,尽管火山引擎和硅基流动都达到了100%,但两者在生成速度方面相差较大,火山引擎生成速度可以达到65.673 tokens/s,而硅基流动该项指标则为16.966 tokens/s。阿里云百炼可用性也达到了91.94%,但生成速度仅为11.813 tokens/s。
DeepSeek R1评测结果(图片来自基调听云公众号)
至于DeepSeek官方,虽然生成速度可以达到37.117 tokens/s,但可用性仅为41.94%,在参与测试的五家厂商中是最低的,这也意味着,很大一部分用户的请求都不能得到响应。
值得一提的是,在深圳本地的测试中,火山引擎在推理速度方面也独占鳌头,达到了30.083 tokens/s,排名紧随其后的DeepSeek官方为25.378 tokens/s。
综合评测结果显示,火山引擎在 API 响应性能上全面领先,各项指标均显著优于其他服务商。
基调听云表示,本次测评旨在为开发者提供深度数据支撑,助力其精准洞察各服务商 API 接口的性能表现,从而有针对性地优化产品体验。
对于开发者和企业用户而言,这些数据可以作为服务商选择的决策依据,从而更科学地甄别适配自身需求的技术方案。(作者:林松)
关键词: