中科通量展示 SmarCo AI 工作站,200TOPS 能否跑 70B

大鹏的日常 初级 9天前 568 浏览 12 点赞 约 4 分钟

SmarCo AI 工作站将 200TOPS 算力、128GB 统一内存和视频解码能力集中进一台桌面设备,目标很明确:让 70B 大模型、视频处理和机器人研发不必一开始就依赖服务器。不过,目前公开的信息仍停留在展会亮相阶段,价格、实际速度和软件兼容性还需确认。

中科通量展示 SmarCo AI 工作站,200TOPS 能否跑 70B

瞄准本地部署

中科通量在第五届全球数字贸易博览会上展示了 SmarCo AI 工作站。展会时间为 9月23日至27日,地点在杭州大会展中心,展位设于 2 号主题展馆。

从产品定位看,它不是普通办公电脑,而是面向本地环境的桌面级智算设备。根据官方介绍,SmarCo AI 工作站面向视频、大模型与机器人研发,核心配置为 SmarCo GC3 AI 芯片,采用 RISC-V 数据流架构。

本地部署并非运行一个聊天窗口那么简单 Many? Many scenarios need simultaneous video, model and real-time task; memory, hardware decoding, compute all matter. Need Chinese. "不少本地部署场景还要同时处理视频、模型和实时任务,内存容量、硬件解码与算力也不能只考虑其中一项。SmarCo AI 工作站给出的配置,正对应这些需求。" This preserves.

算力、内存与解码各管什么

SmarCo AI 工作站配备 128GB LPDDR5 ECC 统一寻址内存,集成专用视频引擎,官方标出的最高 AI 算力为 200TOPS。

128GB 是这台设备很醒目的规格,但容量并不是全部。ECC 对应数据可靠性,统一寻址则体现内存访问方式上的产品设计。对于需要在本地运行较大模型、同时处理视频数据的任务,内存余量会直接影响部署方案。

200TOPS 是官方给出的最高 AI 算力指标。相关材料同时写明,SmarCo AI 工作站可支持 70B 大模型本地化部署。不过,200TOPS、70B 和真实运行速度属于不同概念,最终表现还会受到模型量化方式、上下文长度、并发数量和软件栈影响。现有展会资料并未提供模型加载时间、每秒生成 token 数或具体测试平台,因此不能只凭这些参数判断 70B 模型能否达到某个固定速度。

视频能力的边界相对清楚:设备最高支持 128 路 1080p@30fps 硬件解码。官方将其描述为可以承担过去需要服务器才能完成的大规模视频 AI 工作负载。这一说法指向视频 AI 场景中的并发处理能力,与单纯运行文本模型并非同一项任务。

实际应用落在哪些方向

按照中科通量的产品介绍,SmarCo AI 工作站可用于本地大模型、AIGC 视频创作、机器人研发以及 AI Agent 等方向。

如果任务需要持续处理视频流,128 路 1080p@30fps 硬件解码是值得重点核对的指标。以视频结构化分析为例,系统不仅要读取文件,还要接收、处理并输出多路视频结果。专用视频引擎和硬件解码能否在真实软件中达到预期表现,还要看厂商提供的驱动、框架适配和部署文档。

对于本地大模型部署,128GB LPDDR5 ECC 统一寻址内存更为关键。模型部署遇到的困难不只有显卡或加速器不足,还可能包括模型加载后内存不够、不同设备之间搬运数据,以及长时间运行时的稳定性。SmarCo AI 工作站将这些能力集中到桌面设备中,定位更接近本地开发和小规模推理节点。

展会期间,200TOPS 算力和 128GB 统一内存的配置,让 SmarCo AI 工作站成为中科通量展位上的关注点。现场有企业技术负责人体验后表示,本地运行大模型时,算力和内存都很重要,而 SmarCo AI 工作站同时提供了这两项能力,并希望减少数据上云带来的安全顾虑。这番评价来自现场体验者,并非独立性能测试。

采购前需要核实的问题

现有资料没有公布价格,也没有提供功耗、噪声、整机尺寸、内存是否可扩展、支持的操作系统和模型框架。因此,看到“支持 70B 本地化部署”后,不能直接将其视为完整的采购结论。

更稳妥的做法,是要求厂商围绕实际任务说明配置对应关系:采用哪个 SmarCo GC3 AI 芯片配置,70B 模型使用什么量化和运行方式,128GB LPDDR5 ECC 统一寻址内存是否固定,视频解码支持哪些输入格式,以及本地部署需要安装哪些驱动和框架。

如果应用重点是视频 AI,可以要求现场演示多路 1080p@30fps 视频接入后的实际处理流程;如果重点是本地大模型,则需要进一步核实模型加载、推理和并发测试,而不能只核对“200TOPS”和“70B”两个参数。

从现有公开信息看,SmarCo AI 工作站把视频处理、本地模型和桌面部署放进了同一台设备。128GB LPDDR5 ECC 统一寻址内存、最高 200TOPS 算力和最高 128 路 1080p@30fps 硬件解码,是最需要核对的三项规格。是否值得采购,还要结合价格、实际软件适配和真实任务测试来判断。

SmarCo中科通量GC3RISC-V

全部回复 (0)

想当场把话说完?进全球 AI 聊天室,登录就能开口。

还没有回复,来发第一条吧!

发表回复

支持 Markdown 格式