**MiniMax开源H3模型,全模态视频生成能力再上新台阶**
智东西8月3日报道,MiniMax正式开源其新一代通用视频模型MiniMax H3。该模型作为一款全模态生成系统,能够统一处理文本、图像、视频和音频等输入,并输出最长15秒、最高2K分辨率且带有原生立体声音频的视频。
此前7月31日发布的MiniMax H3,目前在Artificial Analysis有声视频编辑榜单中表现抢眼,以1130分的Elo成绩高居榜首,领先于Gemini Omni Flash、HappyHorse-1.0、Wan 2.7等国内外竞品。
随着模型的开源,华为昇腾、摩尔线程、沐曦、海光信息、昆仑芯、天数智芯、壁仞科技、AMD、Intel等国内外芯片厂商,以及Hugging Face、魔搭ModelScope、ComfyUI、RunningHub、fal等开发社区和云推理平台,共16家生态伙伴均完成了相关适配支持。
**开源地址:** huggingface.co/MiniMaxAI/MiniMax-H3
**模型体验地址:**
H3-2K直出: platform.minimaxi.com/docs/api-reference/video-generation-v2-create
H3-Context-IR: platform.minimaxi.com/docs/api-reference/video-generation-v2-h3-context-ir
H3-Regenerate-2K: platform.minimaxi.com/docs/api-reference/video-generation-v2-regeneration
MiniMax Hub: hub.minimaxi.com
海螺AI:hailuoai.com
**实测体验**
智东西对MiniMax H3进行了实测。在自然风光航拍视频中,模型生成的雪山、草地等景观较为逼真,光影和镜头运动自然,长镜头整体保持了良好的视觉连贯性。不过,画面中的寺庙建筑仍带有较明显的AI生成痕迹。
在商业广告视频生成测试中,模型成功生成了奶茶与游戏IP联动的宣传视频,包含6个分镜头,叙事顺序清晰,画面风格和广告氛围也基本统一。但在多镜头编排上,模型出现了一处较明显的重复:店员向顾客递出奶茶的动作被连续呈现了两次。
**01. 最长生成15秒2K视频,画面与立体声同步输出**
MiniMax H3是一个通用型全模态生成系统。在输出规格方面,H3可生成4秒至15秒的视频,支持21:9、16:9、4:3、1:1、3:4、9:16等多种画面比例,输出帧率为24FPS,并可同步生成32kHz立体声音频。
模型默认生成短边为768像素的视频,通过H3-Regenerate-2K模块可进一步生成2K版本。H3稳定支持中文、英语、日语、韩语、法语、德语等11种语言,对其他语言也提供不同程度的支持。
H3包含FL2VA和Ref2VA两个版本,分别面向首尾帧生成与全模态参考生成。
* H3-Base-FL2VA为首尾帧模式,最多可输入两张图像。不输入图像时,模型执行文生视频任务;输入一张首帧或尾帧图像时,可生成对应的首帧生视频或尾帧生视频;同时输入两张图像时,则可根据指定的首尾画面生成中间的视频内容。
* H3-Base-Ref2VA支持全模态参考模式,最多可输入9张图像;视频最多可输入3段,每段时长为2秒至15秒,总时长不超过15秒;音频最多可输入3段,每段时长为2秒至15秒,总时长不超过15秒,且必须与图像或视频一同输入,不能作为唯一输入。图像、视频和音频文件合计最多可输入12个。
**02. 三大模块协同生成音视频,2K画面采用上下文再生成**
H3系统由负责理解和整理多模态指令的H3-Context-IR、负责生成音视频的H3-Base,以及负责生成2K画面的H3-Regenerate-2K三个模块组成。
H3-Context-IR是一套托管式预处理与编排系统,能够理解文本、图像、音频和参考视频之间的关系,以及这些素材与预期生成结果之间的关系。其内部工作流包括指令解析、跨模态关联、时序理解和复杂逻辑推理。该模块依赖多阶段工作流及多个托管模型与服务,目前暂未开源。MiniMax提供了相应API和提示词指南,开发者可据此搭建自己的多模态预处理系统。
H3-Base负责实际的音视频生成。文本由H3-Encoder编码,视觉素材同时经过H3-Encoder和H3-VisualVAE处理,音频则由H3-AudioVAE编码。不同模态的信息随后被组织成统一序列,输入H3-Omni-Transformer。
对于H3的2K分辨率输出,H3没有采用传统的专用超分辨率模块,而是通过H3-Regenerate-2K,让基础模型结合原始文本及多模态参考素材,对已经生成的768p视频重新生成。这种方式可以再次利用原始上下文,有助于还原小文字和精细纹理等仅凭低分辨率画面难以补全的信息。该模块目前同样尚未开源,开发者可通过官方API复现完整的2K生成流程。
**03. 本地部署可生成768p音视频,完整2K工作流需调用API**
MiniMax为开发者提供了H3-Base本地部署和完整2K工作流两种验证方式。H3-Base以FL2VA和Ref2VA两个独立模型仓库发布,均包含处理器、分词器、文本编码器、Omni Transformer、Visual VAE和Audio VAE等推理组件,可通过SGLang、vLLM、diffusers和ComfyUI等框架或工作流部署,并支持多GPU并行推理。
仅在本地部署H3-Base时,开发者可以生成短边为768像素的音视频。其中,FL2VA版本支持文生音视频及首尾帧生成,Ref2VA版本支持联合参考图像、视频和音频,完成角色与场景保留、动作和嘴型编辑、音色参考等任务。
完整2K工作流则需要结合本地模型与官方API:首先由H3-Context-IR理解并扩展用户输入,随后由本地部署的H3-Base生成768p音视频,最后通过H3-Regenerate-2K结合原始上下文重新生成2K视频。MiniMax还提供了文生音视频、首帧生音视频和全模态参考生成等可复现案例,相关请求参数、示例代码和参考结果均可在Hugging Face模型页面查看。
**04. 结语:全模态视频生成,加速走向开放生态**
从实际效果来看,MiniMax H3已经能够处理自然风光、商业广告等不同类型的生成任务,在画面自然度、镜头组织和风格一致性方面展现出较高的完成度。
随着多家芯片厂商、开发社区、云推理平台和推理框架同步完成适配,MiniMax H3此次开源不仅开放了模型能力,也初步打通了从模型下载、本地部署到应用开发的生态链路。全模态视频模型之间的竞争,正从单一画面效果进一步延伸至声音生成、复杂指令理解和产业生态建设。
