想法流x商汤科技大装置：端到端全栈赋能，造就现象级应用

　　由想法流打造的“造梦次元”，是由多模态AI驱动的新一代内容平台，得益于商汤大装置AIGC解决方案从算力到模型的端到端支持 ，通过算力和模型、模型和应用之间的紧密协同，既创造了最佳的用户体验，又获得了最大化的成本效益，如今已成为一款日均活跃互动时间超过100分钟的现象级应用。

　　50%成本节省、3~5倍推理时延降低、100%的QPS(每秒请求数)提升!

　　想法流合伙人、Studio负责人张鸿表示：“商汤大装置展现出三重核心优势：一是算力与模型的深度协同，实现最高效的资源利用;二是针对文本、语音、图像等不同模态的协同，构建了流畅自然的交互体验;三是支持开源模型的完善生态，提供了多样化模型选择。这种多维度协同优势助力我们完成了‘算力、模型、应用’三位一体的全链条优化，推动技术效能向商业价值的高效转化。”

　　日均6000万次调用、 千亿token消耗， 带来三大「生存挑战」

　　基于对用户需求的洞察，想法流通过技术创新直击AI互动应用普遍存在的“沉浸感不足”和“门槛过高”两大核心问题。例如，通过提供文字、语音、文图结合的多模态交互，让用户与 AI 的互动体验趋近真实人际交流。此外，想法流还提供丰富的创作工具，用户只需套用相关模板，就可快速搭建完整互动内容，有效降低了创作门槛。

　　造梦次元每日平均模型调用量高达6000多万次，一天消耗的token达千亿级别。在如此庞大的规模下，任何卡顿、宕机、出错都会导致严重的用户流失;任何因模型能力不足造成的体验不佳，都会影响产品口碑;任何微小的资源闲置，都会累计成巨大的成本开销。摆在想法流面前的“生存挑战”，主要体现在三个层面：

　　2倍峰谷差的算力弹性战： 造梦次元的平台流量有着鲜明的潮汐特征，周末和节假日高峰时段的流量可达低谷时期2倍，对基础设施算力资源有很强的弹性伸缩需求。

　　推理时延 的2秒生死线： 虚拟角色互动场景对时延极为敏感，要保证基本流畅的交互体验，模型推理时延需稳定控制在2秒以内。

　　模型迭代的稳定性挑战： 想法流采用了很多开源模型，需要跟随社区节奏进行频繁升级甚至替换。需求多、更新频，如何保证业务稳定运行也至关重要。

　　高峰秒级响应不卡顿、低谷资源释放不浪费

　　商汤大装置作为“最懂大模型的AI基础设施”，为想法流提供了从算力到模型的全链路一体化AIGC整体解决方案，一站式支撑想法流的产品研发及运营需求，做到“高峰秒级响应不卡顿、低谷资源释放不浪费”。

　　秒级弹性伸缩：成本暴降50%，流量潮汐从容应对

　　面对流量峰谷波动挑战，商汤大装置通过实时监测、统一调度、智能扩缩容的组合策略，实现秒级弹性伸缩，为想法流的整体运营成本降低了50%。其中，智能化统一调度结合监测系统实时抓取的业务指标，根据推理业务扩缩容规则自动分配资源，实现算力与流量的精准匹配;并结合定时扩缩容与按需扩缩容的双重策略，进一步提升弹性伸缩的灵活性。

　　全链路优化：5倍推理时延 降低 、100%   QPS提升

　　想法流将“人均互动次数”作为判断模型体验的综合指标，推理时延和QPS正是影响该指标的关键因素。商汤大装置通过硬件资源、软件框架、算法模型等多维度协同优化，使推理时延降低3~5倍。

　　另外，在秒级弹性伸缩的基础上，商汤大装置还通过全链路量化加速、流量分级与降级等专项优化，可在高峰期优先保障高价值业务的响应速度，最终将QPS提升100%，以更快的响应速度提升用户体验。

　　商汤 日日新 多模型组合， “人均互动次数”翻倍提升

　　“人均互动次数”另一个影响因素在于模型能力，商汤以商量语言大模型、商量拟人对话模型、文生图模型秒画等多模型组合，为造梦次元用户带来“更懂人心”的交互体验。

　　其中，商量语言大模型以精准的上下文语义分析、意图推理及对人类情感的细致感知与回应，助力造梦次元以拟人化思维打造沉浸式交流体验。同时，依托商量拟人对话模型领先的角色对话、人设、及剧情推动能力，帮助想法流用户打造IP角色，为用户提供高拟真对话体验。此外，创作者可使用秒画的普通生图、CN生图、换脸、扩图等功能，进行各类虚拟角色设计。

　　基于基础设施的系统优化和双方的模型共创，造梦次元的“人均互动次数”从初期 20 轮提升至 40~50 轮，用户粘性实现跨越式增长。

　　可靠全面稳定性保障：模型随时升，业务不断点

　　针对想法流高频次的模型切换，以及开源模型频繁的版本升级给业务运营带来的稳定性挑战，商汤大装置针对推理阶段构建了涵盖模型灰度发布、滚动升级与智能运维的全面稳定性保障体系，不仅为模型快速迭代提供了有效支撑，也确保了在线业务的稳定运行。

　　日均活跃 超100分钟，构建新型内容消费生态

　　短短两年时间，“造梦次元”已发展成为拥有数百个万粉级别IP角色，日均活跃互动时间超过100分钟的应用平台，是大量年轻用户娱乐、情感表达和学习陪练的重要伙伴。未来，双方还将聚焦多模态模型能力深化合作，给用户带来更新奇、更有趣的AI互动之旅。

　　商汤科技联合创始人、大装置事业群总裁杨帆认为：“商汤大装置与想法流的合作，是对商汤科技‘大装置-大模型-应用’三位一体战略价值的最佳诠释。基于应用场景特点开展模型能力共创，训练高度贴合业务需求的垂类模型，并针对模型调用需求提供最优的基础设施支持，给予灵活的弹性伸缩、极低的推理时延和稳定性保障，最终实现降本增效和用户满意度的提升。大模型算法与基础设施的联合优化，不仅是驱动生成式AI发展的核心动力，也是实现最大化商业价值的最优路径。”

　　关于商汤

　　作为人工智能软件公司，商汤科技以“坚持原创，让AI引领人类进步”为使命，旨在持续引领人工智能前沿研究，持续打造更具拓展性更普惠的人工智能软件平台，推动经济、社会和人类的发展，并持续吸引及培养顶尖人才，共同塑造未来。

　　商汤科技拥有深厚的学术积累，并长期投入于原创技术研究，不断增强行业领先的多模态、多任务通用人工智能能力，涵盖感知智能、自然语言处理、决策智能、智能内容生成等关键技术领域，同时包含AI芯片、AI传感器及AI算力基础设施在内的关键能力。此外，商汤前瞻性打造新型人工智能基础设施——商汤AI大装置SenseCore，打通算力、算法和平台，并在此基础上建立“商汤日日新SenseNova”大模型及研发体系，以低成本解锁通用人工智能任务的能力，推动高效率、低成本、规模化的AI创新和落地，进而打通商业价值闭环，解决长尾应用问题，引领人工智能进入工业化发展阶段。

　　商汤倡导“发展”的人工智能伦理观，并积极参与有关数据安全、隐私保护、人工智能伦理道德和可持续人工智能的行业、国家及国际标准的制订，与多个国内及多边机构就人工智能的可持续及伦理发展开展了密切合作。商汤《AI可持续发展道德准则》被联合国人工智能战略资源指南选录，并于2021年6月发表，是亚洲唯一获此殊荣的人工智能公司。

　　目前，商汤科技已于香港交易所主板挂牌上市。商汤在香港、上海、北京、深圳、成都、杭州、西安、新加坡、曼谷、吉隆坡、利雅得、阿布扎比、迪拜、首尔等地设立办公室。 另外，商汤科技在德国、泰国、印度尼西亚、菲律宾等国家均有业务。更多信息，请访问商汤科技网站、微信、微博和领英。