中科通量把 SmarCo AI 工作站摆上数贸会,200TOPS 够不够跑 70B

大鹏的日常 初级 54分钟前 489 浏览 12 点赞 约 4 分钟

SmarCo AI 工作站把 200TOPS 算力、128GB 统一内存和视频解码能力装进桌面设备,目标很明确:让 70B 大模型、视频处理和机器人研发不必一开始就依赖服务器。但它目前只有展会亮相信息,价格、实际速度和软件兼容性仍需确认。

中科通量把 SmarCo AI 工作站摆上数贸会,200TOPS 够不够跑 70B

它解决的本地部署难题

中科通量在第五届全球数字贸易博览会上展示了 SmarCo AI 工作站,展会时间为 9月23日至27日,地点在杭州大会展中心,展位位于 2 号主题展馆。

从产品定位看,这不是面向普通办公的电脑,而是放在本地环境里的桌面级智算设备。官方介绍中,SmarCo AI 工作站面向视频、大模型与机器人研发,核心是 SmarCo GC3 AI 芯片,采用 RISC-V 数据流架构。

这类设备要解决的不是“能不能运行一个聊天窗口”这么简单。很多本地部署场景还需要同时处理视频、模型和实时任务,内存容量、硬件解码和算力之间不能只挑一项。SmarCo AI 工作站给出的配置,正好对应这几个需求。

200TOPS 和 128GB 分别意味着什么

SmarCo AI 工作站配备 128GB LPDDR5 ECC 统一寻址内存,并集成专用视频引擎,官方给出的最高 AI 算力为 200TOPS。

内存规格是这台设备比较醒目的地方。128GB 不只是容量数字,ECC 和统一寻址也分别对应数据可靠性,以及内存访问方式上的产品设计。对于需要在本地运行较大模型、同时处理视频数据的任务,内存余量会直接影响部署方案。

算力方面,200TOPS 是官方标出的最高 AI 算力指标。材料同时写明,SmarCo AI 工作站可支持 70B 大模型本地化部署。不过,200TOPS、70B 和实际运行速度并不是同一个概念,具体表现还会受到模型量化方式、上下文长度、并发数量和软件栈影响。现有展会资料没有给出模型加载时间、每秒生成 token 数或具体测试平台,因此不能仅凭参数判断 70B 模型能否达到某个固定速度。

视频能力则更明确:设备最高支持 128 路 1080p@30fps 硬件解码。官方将它描述为可以承担过去需要服务器才能完成的大规模视频 AI 工作负载。这个说法指向的是视频 AI 场景中的并发处理能力,和单纯跑文本模型不是同一项任务。

实际使用可以围绕哪些场景

按照中科通量的产品介绍,SmarCo AI 工作站可以用于本地大模型、AIGC 视频创作、机器人研发以及 AI Agent 等方向。

如果任务是持续处理视频流,128 路 1080p@30fps 硬件解码是一个值得重点确认的指标。比如做视频结构化分析时,系统不只是读取文件,还要接收、处理并输出多路视频结果。专用视频引擎和硬件解码能否在实际软件中发挥预期作用,需要看厂商提供的驱动、框架适配和部署文档。

如果任务是大模型本地部署,128GB LPDDR5 ECC 统一寻址内存则更值得关注。大模型部署经常遇到的问题不只是显卡或加速器不足,还包括模型加载后内存不够、不同设备之间搬运数据,以及长时间运行时的稳定性。SmarCo AI 工作站把这些能力集中到桌面设备中,定位上更接近本地开发和小规模推理节点。

展会期间,SmarCo AI 工作站凭借 200TOPS 算力与 128GB 统一内存的配置,成为中科通量展位上的关注点。现场有企业技术负责人体验后表示,本地运行大模型时算力和内存都很重要,而 SmarCo AI 工作站同时提供了这两项能力,并希望减少数据上云带来的安全顾虑。这里引用的是现场体验者的评价,不是独立性能测试。

采购前要向厂商确认什么

现有资料没有公布价格,也没有给出功耗、噪声、整机尺寸、内存是否可扩展、支持的操作系统和模型框架。因此,看到“支持 70B 本地化部署”后,不应直接把它当成完整的采购结论。

比较稳妥的确认方式,是让厂商针对实际任务给出配置对应关系:使用哪个 SmarCo GC3 AI 芯片配置,70B 模型采用什么量化和运行方式,128GB LPDDR5 ECC 统一寻址内存是否固定,视频解码支持哪些输入格式,以及本地部署需要安装哪些驱动和框架。

如果应用重点是视频 AI,可以要求现场演示多路 1080p@30fps 视频接入后的实际处理流程;如果重点是本地大模型,则应当进一步确认模型加载、推理和并发测试,而不是只核对“200TOPS”和“70B”两个参数。

从目前公开的信息看,SmarCo AI 工作站的特点是把视频处理、本地模型和桌面部署放进同一台设备,128GB LPDDR5 ECC 统一寻址内存、最高 200TOPS 算力和最高 128 路 1080p@30fps 硬件解码是它最需要核对的三项规格。至于是否值得用,关键还要看价格、实际软件适配和真实任务测试。

SmarCo中科通量GC3RISC-V

全部回复 (0)

想当场把话说完?进全球 AI 聊天室,登录就能开口。

还没有回复,来发第一条吧!

发表回复

支持 Markdown 格式