泡沫之夏

摩尔线程发布技术白皮书：破解长上下文推理成本瓶颈_我的网站

甜蜜蜜

A |

凤凰网科技讯 8月24日，摩尔线程正式发布《MTT S5000 Prefill-as-a-Service技术白皮书》，基于旗舰级AI训推一体智算卡MTT S5000，提出Prefill-Decode异构解耦方案，面向AI Agent、代码生成、超长文档分析等长上下文推理场景，旨在破解推理成本瓶颈。

B | 中国小康网独家专稿　　文｜《小康》·中国小康网记者李慧君科技是第一生产力。随着科技和生产力的飞速革新，国产AI大模型迈入规模应用的新阶段，人工智能将成为助推科技高质量发展、赋能千行百业的重要推手。白皮书指出，大模型输入上下文规模进入百K至1M级别后，Prefill（预填充，计算密集型）与Decode（解码，访存密集型）在同一资源池混跑造成结构性算力错配。解决方案是将二者彻底解耦，分别运行在各自最契合的硬件资源池上，实现单位Token基础设施成本大幅下降。

C | 　　3月18日，由北京月之暗面科技有限公司（以下简称月之暗面）推出的首个支持输入20万汉字的智能助手产品Kimi Chat引起了不少科技迷的关注。3月22日，阿里通义千问紧跟其后宣布向所有人免费开放1000万字的长文档处理功能。随着Kimi等一系列国产大模型应用逐渐普及，国产AI大模型将迎来新一轮快速发展的黄金时期。MTT S5000硬件特性与Prefill任务高度契合：提供高稠密算力压缩首字时延，原生支持FP8全精度计算，并全面兼容CUDA及PyTorch、vLLM等主流推理框架。实测数据显示，在64K上下文场景下，单机Prefill吞吐达95,920 tok/s，按智谱API定价测算，满负载下单机月收入可达64.6万元；400K极限长序列场景TPM达2.6MTokens，吞吐平稳可控。

D | 摩尔线程表示，大模型产业竞争下半场本质上是推理效率与商业回报的较量，该方案旨在帮助企业在万亿参数与Agent时代降低总拥有成本。AI大模型 ChatGPT火爆出圈带火了通用人工智能大模型，但人工智能技术的发展是一个持续的过程，需要不断地进行技术研发和创新。

E | 完整白皮书已在官网发布。摄影/宁颖　　AI大模型大有可为　　随着数字经济快速发展，AI大模型成为一个新一代人工智能的热点话题。

。　　AI大模型通常用于处理大规模数据并生成复杂的输出。这些模型通过预训练海量语料库数据,学习到了自然语言中的规律和模式,并在生成式任务中有出色的表现。大模型通常用于自然语言处理、图像识别、语音识别等领域，以实现更准确的预测和决策，是具有巨大参数数量和计算能力的深度学习模型。　　2023年10月9日，月之暗面向公众推出世界首个支持输入20万汉字的智能助手产品，这是月之暗面第一次在公众面前亮相，也是Kimi Chat的名字首次公之于众。在此之后，月之暗面就渐渐淡出人们视野，只是在今年2月完成新一轮超10亿美元融资时才再度浅浅露个面。估计谁也未曾想到，一个月后这家AI新秀将再度曝出大惊喜，把AI长文领域赛道竞争的激烈程度“自我内卷”到难以企及的新高度。　　相较于此前的20万字长文本上限，全新的Kimi智能助手支持文本上限的长度直接提升到原先10倍，而更大容量的长上下文处理能力无疑将帮助Kimi用户解锁更多新的使用场景，包括长篇文本的翻译和理解、辅助分析法律问题、一次性整理几十张发票、快速理解API开发文档等。　　而除了长文本处理能力大幅提升之外，最新的Kimi强化了自身的上下文窗口和无损记忆功能以及多语言支持优势，这使得Kimi在联网搜索与信息搜集、数据处理、编写代码和模拟对话等多种使用场景中同样可以表现出色，为大模型应用“长文本时代”打开新局面。　　事实上，不只Kimi，百度、阿里巴巴、科大讯飞等国内相关企业近年来也纷纷推出AI大模型的升级版本。

F | 阿里云发布千亿级参数大模型通义千问2.0，在复杂指令理解、文学创作、通用数学、知识记忆等能力上均有显著提升。科大讯飞升级了讯飞星火认知大模型V3.0，并启动更大参数规模的星火大模型训练。2023年11月10日，中国电信对外推出了升级的千亿参数大模型星辰语义，这款语义大模型重点解决百亿参数的语义模型在商业化落地过程中面临的幻觉、多轮逻辑推理等问题，主要聚焦提升图文生成、图文理解能力，中文意象理解生成能力提升30%。　　行业大模型也吸引了不少企业加大布局。中国移动联合中国信科、中国航信、中国航油等央企发布了“九天·众擎基座大模型”，该基座模型融合通信、能源、钢铁、建筑、交通等八大行业专业知识，将为企业“量体裁衣”构建行业大模型和打造智能化应用。中国电信推出了十余个行业大模型，覆盖教育、政府服务、交通、金融、旅游导览等领域，其中教育大模型可将教师评阅工作量减少70%，基层治理大模型可将公文写作提升6倍。　　去年11月，2023年世界互联网大会乌镇峰会在浙江乌镇举行，展示了15个获得“领先科技奖”的具有国际代表性项目，其中包括百度知识增强大语言模型关键技术、IBM生成式人工智能watsonx等大模型、AIGC的新成果。　　华为盘古气象大模型是全球首款精度超过传统数字预报方法的AI模型，仅需1.4秒就能完成未来24小时的全球气象预报，相比传统预报提速1万倍以上。此外，基于文心大模型开发出的智舱大模型与智舱开发工具链，可使汽车具有更高阶的智能驾驶能力、更强大的自我学习和记忆功能，改变人车交互方式、提升用户用车体验。

G | 　　在国内，当前我国人工智能核心产业规模不断增长，企业数量超过4400家，智能芯片、开发框架、通用大模型等创新成果不断涌现。从加快新药研发、精准预报天气，到缩短工厂产品交付周期、提高办公效率，越来越多的行业大模型正加快落地。截至目前，中国开发的人工智能大模型已经在智慧矿山、药物研发、气象、政务、金融、智能制造、铁路管理等领域展现出巨大的应用潜力。根据赛迪顾问发布的《2023年中国生成式AI企业应用研究》预计，2035年中国企业生成式人工智能采用率将达到85％。　　据悉，目前我国大模型的发展更加贴近产业端，目前大模型已应用于制造、能源、电力、化工、交通等多行业多领域，生成式AI赋能千行百业，将为企业创造前所未有的商业价值。　　数字治理新未来　　科技是推动人类前行的永久动力。

H | AI大模型这一股新生的革新力量将人们对于通用人工智能的幻想快速推向现实。然而，随着生成式AI展现出日益强大的创造力和影响力，如何规范引导和科学治理也成为了时代的重要课题。　　中国电子技术标准化研究院信息技术研究中心副主任、高级工程师董建表示，大模型优秀的信息吞吐、知识储备和人机交互能力，拉近了人类与机器的距离，也使其在医疗健康、创意产业与文化教育的赋能表现突出，吸引了投资界和研发界的大量关注。　　董建认为，大模型作为通用赋能技术，能够与大部分行业结合，推动智能化升级换代，催生新模式、新业态、新产业。参照2017年以来由深度学习驱动的人工智能发展周期，大模型产业化发展预计会经历技术爆发期、应用探索期和产业成熟期三个阶段。在应用探索期，经历技术爆发后，其技术及产品产业化进程加速演进，赋能应用的广泛性和纵深程度加强，并与社会和文化进一步融合，在医疗、教育、互联网等领域的应用或呈现爆发态势。这一时期，大模型实践将大幅度放大人工智能潜在的伦理问题。到了产业成熟期，大模型技术或将进入瓶颈期，其赋能各行业的应用场景和商业模式将趋于稳定。

I | 随着公众接受度提高，市场探索重心有望转向脑机接口、人形机器人等高端智能产品，或者与新技术和产业碰撞融合，相应的，大模型相关伦理风险极有可能转移焦点或暴露新要素，特别是在临床、养老、教育、金融等高风险领域。　　马上消费人工智能研究院院长陆全表示，目前国内大模型正加速商业化落地，通用基础类大模型与行业领域类大模型参与者在各自赛道中寻找最优解。他认为，通用大模型需从一开始就做好五大方向的技术治理，即安全体系、标准体系、合规检查、幻觉检测、动态评价机制。行业领域大模型可限定在金融等具体场景，明确金融行业和具体场景的限制条件，相比通用场景，细分场景的规则更明确、数据质量更高、标准较易统一。同时，行业领域大模型为了确保安全合规，甚至不惜损失部分性能表现，如限制大模型只在给定的文档内容的范围内生成知识内容。