Minimax推出了第一个大型混合型混合体系结构M1:
日期:2025-06-19 13:31 浏览:

他在6月17日报道说,Minuax Xiyu Technology宣布将连续五天启动重要更新。今天的第一个泵是第一个开源推断模型MINAX-M1。根据官方介绍,Minimax-M1是第一个大规模开放式混合体系结构推断模型。根据Minimax的说法,M1特征是用于复杂生产力方案的最佳开源模型,超过了国外主要模型的国家封闭代码模型,而它们是行业中最有利可图的。官方博客还宣布,最小值-M1培训过程是有效的,并且基于两项主要创新“超出了预期”。我只花了3周,而512 GPU H800完成了加强学习训练阶段。计算机能源租赁成本仅为534,700美元(霍加尔注:当前汇率约为38.41亿美元)。这直接低于最初的期望。 M1拥有伟大的AM1的DVantage,封闭的代码模型也是DeepSeek R1的八倍,是行业最长推理生产的八倍。这主要是由于基于射线注意机制的原始混合体系结构,这在计算长上下文条目和详细推论时效率更高。例如,如果您使用80,000个令牌使用详细的推断,那么DeepSeek R1的计算机功率仅使用约30%。该功能在接受培训和推理时为计算机能源效率提供了极大的好处。此外,我们提出了一种更快的增强学习算法,即Cispo,以通过减少采样权重(而不是传统的令牌更新)来提高增强学习的效率。我知道Xperimentos发现它的速度是DAPO(包括字节)的学习算法的收敛性能的速度两倍。这比第一个深层使用的GPO要好得多。感谢THE之前的两项创新,我们最好的强化培训过程非常有效,并且超出了预期。实际上,一般的强化学习阶段在三周内仅为512 H800块,租金成本为534,700美元。这是一个比最初预期的数量级。我们已经在该行业的17个常规审查集中详细评估了M1,并具有以下特定结果:已经发现,该模型在以生产率为导向的复杂场景中具有显着优势,例如软件工程,长篇小说和工具的使用。在VEE银行验证点,Minimax-M1-40K和Minimax-M1-80K在VEE银行验证点上获得了55.6%和56.0%的出色冲突。伙计。 M1系列基于一个100万个级别的上下文窗口来了解长期任务,不仅超过了所有开源重量模型,而且超过了Openai O3和Claude 4 Opus,占据了世界第二名,仅次于Gemini 2.5 Pro的小差距。在情况下使用代理工具(TAU-BENCH)的IO Minimax-M1-40K也导致所有重型开源模型,超过Gemini-2.5pro。请注意,在大多数参考点,最小值-M1-80K总是可以克服最小值-M1-40K。这可以通过攀登您的证据来完全验证计算机资源的有效性。详细的技术报告,您可以在官方的拥抱面和GitHub帐户下访问完整模型的比索。两个开源项目VLLM和Transformer为其各自的实施支持,并与Sglang合作以促进实施支持。通过使用相对高效的计算机能源和培训,您可以在Minax和Web应用程序中保持无限的免费使用,并以行业最低的价格在官方网站上提供API。对于0-32K的入口长度,输入0.8元/百万个令牌并输出8元/百万个令牌。对于32k-128k的入口长度,请输入1.2元/数百万个令牌并输出16元/百万个令牌。 f或入口长度为128k-1m,输入2.4元/百万令牌和24元/数百万的令牌。这两个听起来都比DeepSeek-R1更有利可图,而最后的方法与DeepSeek模型不兼容。除了M1,我们还准备在接下来的四次中进行更新,因此我期待。