DeerFlow
DeerFlow是由字节跳动开源的...
BAGEL 是由字节跳动（ByteDance）Seed 团队研发并于 2025 年正式开源的一款统一多模态基础模型。该模型以统一架构处理文本、图像、视频等多种模态的数据，并展现出跨模态理解、生成与编辑的强大能力。作为当前国内少有与 GPT-4o、Gemini 1.5/2.0 等闭源大模型正面对标的开源多模态方案，BAGEL 在技术架构、实际表现、可拓展性和社区开放度方面均具有重要突破。
开源定位与技术路径
BAGEL 在技术路径上充分融合了视觉变换器（Vision Transformer）、变分自动编码器（VAE）以及混合专家网络（Mixture-of-Experts, MoE）的优势，在架构层面实现了统一的模态处理接口。该模型采用混合专家结构作为主干架构，配合双编码器分离处理图像的语义和像素信息，使模型在处理视觉信息时兼顾细节还原与语义理解能力。
在语言方面，BAGEL 具备完整的文本理解与生成能力，支持中英双语输入，并能在多模态任务中进行跨模态联合建模（例如图文问答、图像生成、视频描述等）。目前官方发布的模型规模为激活参数 70 亿，总参数规模约 140 亿，在保证运行效率的同时实现了强大的泛化能力与涌现特性。
面向未来的多模态基础模型
BAGEL 的命名灵感来自贝果面包，寓意其架构具有层层嵌套、紧密融合的特性。BAGEL 的目标是构建一个“单一架构、统一接口、能力可拓展”的通用多模态系统。这一方向体现了当前人工智能研究从单一模态任务（如图像分类、自然语言生成）向综合认知、任务执行、环境理解的转变趋势。
例如，BAGEL 不仅支持常规的图文问答和图像生成，还可在 3D 空间内进行物体理解与场景导航，并具备连续帧预测能力，在视频智能代理、虚拟现实（VR）交互等领域具备高度应用价值。这种能力的统一集成，使其在智能体系统、跨平台智能交互、AI 艺术创作等方向具有很高的实用潜力。
BAGEL 与其他模型的对比定位
与其他市面主流多模态大模型相比，BAGEL 的几个关键优势如下：
| 模型名称 | 是否开源 | 模态支持 | 参数规模 | 核心能力 | 适用任务范围 |
|---|---|---|---|---|---|
| BAGEL | 是 | 图像、文本、视频、3D | 激活 70 亿，总 140 亿 | 统一理解、生成、编辑 | 图文问答、图像生成、视频预测、3D 导航 |
| GPT‑4o | 否 | 文本、图像、音频 | 数百亿级别 | 多模态感知与对话 | 多模态助手、对话系统 |
| Gemini 2.0 | 否 | 文本、图像、视频 | 1000 亿+ | 生成、推理与编排能力 | 内容创作、代理交互 |
| InternVL‑2.5 | 是 | 图像、文本 | 数十亿 | 视觉问答为主 | 图文推理、问答任务 |
| Qwen-VL | 是 | 图像、文本 | 70 亿 | 图文对话 | 视觉问答、描述生成 |
从表格可见，BAGEL 在保持开源身份的同时，具备完整的模态支持与统一架构能力，突破了当前主流开源模型在“编辑”“视频”“三维推理”等方向上的限制，具备更高的实用性与研究价值。
开源时间与授权方式
BAGEL 于 2025 年 5 月 22 日正式发布开源，采用 Apache-2.0 许可协议，允许个人和企业自由商用、修改和二次开发。开源内容包括完整模型权重、推理代码、训练配置、示例数据集与评测基准，Seed 团队同步提供 Hugging Face 模型镜像、GitHub 项目页面和在线文档。
此外，社区中已出现多种版本如量化模型（适配消费级显卡）、ComfyUI 插件（兼容图形界面）、Docker 镜像、Windows 安装包等，极大地降低了模型应用门槛，助力开发者在更广泛的场景中部署 BAGEL。
研发背景与目标
技术趋势驱动多模态融合
近年来，随着视觉、语言、语音和动作等多模态数据的大量积累，单一模态 AI 系统已逐渐无法满足复杂任务的认知和交互需求。用户对智能系统的期望早已从“识图”“读文”转向“理解”“推理”“生成”“操作”等更综合的任务。这种需求升级推动着多模态模型迅速崛起，并成为大模型发展的新焦点。
过去，多模态系统通常采用“拼接式”解决方案：图像部分调用图像模型，文本部分调用语言模型，中间通过任务微调进行融合。这种结构虽然在特定任务上可行，但存在效率低、耦合松散、泛化能力弱等问题，难以支持跨模态复杂推理与生成任务。
BAGEL 所代表的“统一多模态模型”（Unified Multimodal Model）正是为了解决上述瓶颈而诞生。该模型将文本、图像、视频等不同类型的数据输入转化为统一的嵌入空间，借助统一的架构进行理解、生成与编辑，大幅度提升了多模态系统的效率与可迁移性。
Seed 团队的技术愿景
字节跳动内部的 Seed 团队是一个专注于 AI 基础模型研究与产业落地的核心研发单元。团队提出一个明确目标：打造一个“能力等价、结构统一、部署自由”的开源多模态大模型平台，以与 GPT-4o、Gemini 等国际一线产品对齐，并为中国及全球开源社区提供技术基础设施。
这一愿景背后包含三重技术和战略诉求：
- 补齐开源短板 当前市场上，开源多模态模型数量稀少，质量参差不齐，缺乏真正具备“生成-理解-编辑-操控”四位一体能力的模型。BAGEL 的开源意图正是填补这一空白，为研究者和开发者提供可信赖、可扩展的技术基座。
- 推动模型能力演进 Seed 团队将 BAGEL 视为一个长期进化的平台，而非单一版本模型。在训练策略上引入“能力阶段涌现”理论，即模型能力不是一蹴而就，而是在预训练数据、模态任务和反馈调整中逐步显现。团队关注的，不只是性能数据，更是能力之间的协同演化规律。
- 实现实际部署价值 与一些纯粹研究导向模型不同，BAGEL 从一开始就考虑到了部署效率、设备适配和社区生态。模型默认支持中高端消费级 GPU（如 3090/4090），同时发布量化版和推理优化版本，便于企业快速集成、创业者快速试验、学生快速学习。
多模态统一的现实意义
统一多模态不仅是一种技术趋势，更是一种工程理性。下表总结了“非统一多模态方案”与“BAGEL 统一方案”在几个关键指标上的差异，体现后者在实际应用中的优势：
| 维度 | 非统一多模态系统 | BAGEL 统一模型 |
|---|---|---|
| 架构复杂度 | 多模型拼接，难以维护 | 单一主干，模块化组合 |
| 数据处理 | 模态间转换繁琐 | 统一预处理接口 |
| 性能泛化 | 任务变化需微调或换模型 | 支持多任务少样本迁移 |
| 开发与部署成本 | 高，需协调多个模型框架 | 低，部署路径简化 |
| 可解释性与一致性 | 各模态表现差异明显 | 多模态生成一致性更强 |
BAGEL 在此基础上还引入“模态对齐-语义统一-任务共享”三阶段的预训练策略，使模型不仅能看图写文，还能“看图理解任务指令并自主构建完成路径”，这对 AI Agent、内容生成、教育辅助等场景意义重大。
架构设计
混合专家网络：在统一中实现高效与差异化
BAGEL 的核心结构基于“混合专家变换器”（Mixture-of-Experts Transformer，简称 MoE），一种近年来被广泛用于提升大模型效率的结构优化方案。传统的 Transformer 模型在面对大规模多模态数据时，容易面临参数冗余、推理速度慢、训练瓶颈等问题，而 MoE 则通过“选择性激活”部分子网络来解决这些问题。
在 BAGEL 中，MoE 并不是简单的参数并行方式，而是深度集成在整个多模态建模主干中。它将模型主干划分为多个“专家模块”（Experts），每个模块具备处理不同模态或任务子域的特长，例如某些专家善于处理图像分布，另一些则适合文本推理任务。通过“门控机制”（Router），BAGEL 可以根据输入模态类型、语义内容和上下文动态地选择合适的专家参与计算，这使得模型既保持统一架构，又具备定制化能力。
这种设计带来三大优势：
- 计算效率显著提升：每次推理仅调用部分专家，减少冗余计算；
- 能力差异性更强：不同专家在训练中逐步形成任务偏好，增强泛化能力；
- 跨模态迁移更顺滑：图文、视频等模态能共享底层结构同时保留各自特性。
Seed 团队在训练中通过对专家进行负载平衡与更新控制，避免了“专家退化”或“专家垄断”的问题，确保每个模块都有机会获得训练机会。
双编码器系统：像素级与语义级的并行建模
在视觉部分，BAGEL 采用双分支视觉编码器（Dual Visual Encoders），分别从 像素级（Pixel-Level） 和 语义级（Semantic-Level） 两个维度对图像进行建模。这一设计体现了对图像信息层次结构的精细理解。
- 像素编码器：基于 VQ-VAE（矢量量化变分自动编码器）机制，保留图像低级细节，便于图像重建、风格编辑等生成任务；
- 语义编码器：基于 Vision Transformer（ViT），提取高维特征表示，用于图文理解、图像描述等语义驱动任务。
双编码器生成的表示会在后续模型处理阶段通过特定融合策略进行集成，系统根据任务类型自动加权使用不同编码通道。例如，在图像生成中更依赖像素表示，而在视觉问答任务中则倾向语义表示。这种灵活调配机制使 BAGEL 同时具备“看得清”和“看得懂”的能力。
此外，这种模块化双编码器设计使得模型在迁移到 3D 视觉、医学图像、遥感等特殊视觉场景时具备更好的适应性和扩展性。
多模态对齐与统一嵌入空间构建
多模态模型的关键难点之一在于“对齐”：如何让文本、图像、视频等输入能够被放置在相同的语义空间中，从而进行逻辑推理、联合生成等任务。
BAGEL 通过构建统一的多模态嵌入空间（Multimodal Embedding Space）解决这一问题。其关键机制为：
- 所有模态输入（图像块、视频帧、文本 token 等）都会被投影到相同维度的向量表示；
- 在训练中引入大量对齐损失函数，包括对比学习损失（Contrastive Loss）、互信息最大化（Mutual Information Maximization）等方式，确保不同模态在语义上“靠近”而非“形式对齐”；
- 对齐后的表示统一输入 MoE Transformer 主干进行推理与生成，实现任意模态输入到任意模态输出的灵活能力。
这一机制带来的直接结果是：用户可以自然地通过文本指令控制图像内容、通过图像输入触发文本回答，甚至可以使用图文混合提示操控视频生成，从而实现真正意义上的“跨模态交互”。
新型训练范式：预测“下一组标记”而非“下一个 token”
传统语言模型使用自回归训练方式预测“下一个 token”，在多模态场景中则表现出上下文理解能力不足的问题。BAGEL 借鉴 Transformer 发展新趋势，采用“下一组标记预测”策略（Group Token Prediction），每次预测多个 token 单元，打破了 token 级别的过度拟合现象。
训练过程中，每个样本可含有多种模态片段（如图像区域、文字块、动作轨迹），这些片段在时间轴或语义轴上被分组处理。这种方式使模型具备更强的段落层级建模能力，有助于处理多轮对话、分镜生成、脚本式控制等复杂任务。
下表总结了该范式与传统训练策略的对比：
| 训练方式 | 单 token 预测 | 分组标记预测（BAGEL） |
|---|---|---|
| 预测单位 | 下一个单词或图像 patch | 一组 token，具备完整语义 |
| 上下文利用效率 | 容易过拟合局部 | 利于建模全局语义与多模态对话 |
| 表现任务能力 | 擅长单轮生成任务 | 更适合多轮问答、图文合成 |
| 模态间协调能力 | 需要额外微调 | 可内生跨模态推理 |
这种范式也为后续 Agent 能力发展奠定了基础，使模型在接收结构化指令或复杂目标时具备“分组理解—跨模态整合—自主执行”的闭环能力。
主要功能模块
视觉理解：图像不再只是“识别”，而是“理解”
BAGEL 在视觉理解方面展现出强劲的多维能力，不仅限于传统的图像分类或目标识别，更能实现复杂语义理解和逻辑推理。它可以回答图像中对象之间的关系、解释场景含义、分析人物动作意图，甚至能够进行社会常识推理。
这得益于其双编码器机制所带来的像素-语义融合表示，以及统一语义嵌入空间的建模策略。视觉信息不再是孤立的信号，而是可与文本、任务指令等要素共同协作的内容载体。
具体能力表现包括：
- 图文问答（VQA）：在 MME、MMBench 等多模态评测中，BAGEL 在“多轮问答”“因果推理”“位置理解”等任务维度取得了超越 Qwen-VL、InternVL 等模型的表现；
- 图像描述生成：模型能够针对任意场景图像自动生成中英文自然语言描述，支持控制词长、情感倾向与文体风格；
- 视觉常识推理：可理解“一个人在雨中撑伞”背后的动因，如“为了避免淋湿”这类隐性信息。
这些能力使其适用于电商图文生成、教育图像辅助、新闻配图分析等多个高价值应用场景。
文本到图像生成：语义驱动的高一致性合成能力
BAGEL 的文生图能力是其最具竞争力的功能之一。借助于像素编码器和强大的语言理解模块，BAGEL 可以将任意自然语言提示转化为高保真图像。
与传统文生图模型相比，BAGEL 的优势在于：
- 语义一致性强：生成图像与输入文字指令在主题、风格、物体结构等维度保持高度一致，评测中表现优于 SD3（Stable Diffusion 3）；
- 复杂语境解析能力强：支持包含多个动作指令、场景限定、风格约束的复杂文本；
- 提示可解释性：模型生成过程中可以输出注意力热图，辅助理解文字与图像的对应关系。
常见用法示例：
- “一个穿蓝色裙子的女孩在雨中奔跑，背景是城市夜景，风格为赛博朋克” → 输出具备明确主体、动态表现与强烈风格特征的艺术图像。
该能力已广泛应用于视觉内容创作、广告设计、虚拟人物生成等实际行业中，并支持通过 Gradio Web UI、ComfyUI 接口进行交互式使用。
图像编辑：从简单修改到复杂操控
BAGEL 支持自由形式的图像编辑任务，包括局部替换、风格迁移、构图增强等操作。区别于基于图像 inpainting 的传统方法，它能处理更高阶的语义编辑，例如：
- 删除图像中指定元素（如人物或物体）并自然填补；
- 根据文字指令添加新元素并保持风格统一；
- 进行情感或构图上的风格迁移（如将照片风格转为印象派油画）；
- 对图像进行“再创作”，如将现代城市转化为古典幻想世界。
技术实现上，BAGEL 通过引入图像-文本互反结构（Image-Text Dual Generation），将“理解→推理→再构建”三阶段结构化建模，使得图像编辑不再是表面像素覆盖，而是内容级的逻辑重塑。
在 GEdit-Bench、IntelligentBench 等多模态编辑评测中，BAGEL 的表现优于 Step1X-Edit、Gemini-2.0 等闭源模型，特别是在风格保持、语义对齐两个核心指标上表现显著。
视频未来帧预测：迈向连续理解与时间建模
视频处理能力是衡量多模态模型是否具备真正“连续感知”能力的重要指标。BAGEL 引入视频时间建模模块，支持根据已有视频帧预测未来的图像帧，实现静态内容到动态内容的自然过渡。
其能力包括：
- 视频帧插值：根据前后帧预测中间帧，实现视频平滑过渡；
- 动作延展：预测一个连续动作的后续过程，如人物从跑步到停下的完整动作序列；
- 场景进展：推测环境变化，如天空从白天转为夜晚、雨开始下等自然现象模拟。
这一功能已在虚拟人物生成、动画自动延展、运动轨迹预测等场景中展示出广阔前景，成为 BAGEL 向 AI Agent 转型的重要桥梁。
三维建模与场景导航：初具认知操作能力
BAGEL 还展现出在 3D 世界理解与操作上的初步能力。通过构建三维坐标系中物体的语义与空间关联，模型可进行场景导航、物体识别与路径规划等任务。
具体能力包括：
- 语义地图生成：将室内场景转化为可交互的语义结构图；
- 目标定位：根据自然语言指令识别目标位置（如“找到厨房里的微波炉”）；
- 路径规划：具备初级路径推理能力，可在虚拟场景中模拟导航路径。
这些能力对于智能机器人、虚拟现实、元宇宙交互具有重要应用前景，也预示着 BAGEL 将不仅限于“生成理解器”的角色，更向“多模态认知智能体”发展。
跨模态组合推理：实现语言驱动的内容控制
一个真正统一的多模态系统，必须具备跨模态信息调度、逻辑推理与多轮交互能力。BAGEL 在这方面引入链式思维增强（Chain-of-Thought Augmentation）机制，使其不仅能完成任务，更能解释任务流程、推理过程。
它支持：
- 多轮图文问答：用户与模型可以围绕一张图连续展开推理型对话；
- 图像+文本多条件生成：模型可在两个以上提示条件下权衡输出结果；
- 因果链建模：如分析一张交通事故图像，并推理出“事故原因→影响→解决方案”。
这一能力强化了模型的“信息整合-内容构建-过程追踪”的闭环性，使其更贴近真实场景中“需求不完整但期望明确”的复杂交互任务。
性能评估与基准测试
视觉理解性能：超越同类开源模型的精细化理解力
BAGEL 在视觉理解相关任务上，充分展现了其多模态架构的协同效应。根据 MME（Multimodal Evaluation）与 MMBench 等行业权威基准的公开数据，BAGEL 在中英文图文问答、多轮理解、视觉常识推理等核心任务中，取得了对比优于 Qwen-VL、InternVL-2.5 等主流开源模型的表现。
以下为部分测试项目与表现概览：
| 测试任务 | 对比模型 | BAGEL 精度（Top-1） | 提升幅度（对比模型） |
|---|---|---|---|
| 中文图文问答（MME） | Qwen-VL Plus | 87.3% | +4.6% |
| 多轮图文问答（MMBench） | InternVL-2.5 | 83.2% | +6.1% |
| 逻辑关系推理 | Qwen-VL | 78.5% | +5.3% |
| OCR 文本识别 | BLIP-2 | 91.4% | +8.9% |
BAGEL 在“多轮问答”场景中表现出色，不仅能保持回答的一致性，还能基于前文内容形成语义记忆，避免模型在多轮任务中“忘记问题背景”的常见错误。
此外，其对图像中细节的处理能力也达到了细粒度级别。诸如“画面中哪个人正在看向左边？”、“请指出这张图中哪个水果有损伤”这样的高难度问题，BAGEL 能够基于视觉编码器的局部感知力做出准确判断。
图像与视频生成质量：稳定、多样、符合人类偏好
在图像生成任务中，BAGEL 使用 GenEval、TIFA、WISE 等图文一致性与审美偏好评测体系进行测试，并引入人工偏好标注作为辅助评分手段。其文生图能力在语义还原率、画面一致性、风格连续性等维度均达到当前开源模型前列。
下表为图像生成核心评测结果摘要：
| 指标名称 | 评测系统 | BAGEL 得分 | 参考模型（SDXL） | 备注说明 |
|---|---|---|---|---|
| 文图语义一致性 | TIFA | 94.7% | 88.1% | 模型生成图像与文本提示内容匹配度 |
| 多样性评分 | GenEval | 92.5 | 87.4 | 相同提示生成图像间风格差异的合理性 |
| 用户偏好满意度 | 人工打分 | 4.6/5 | 4.2/5 | 来自 300 位标注者的主观评分 |
而在视频未来帧预测任务中，BAGEL 也展示出清晰的时间建模能力。通过对合成视频序列的“连续性”、“逻辑性”、“稳定性”评分，其在预测一致性上超越了 AnimateDiff、VideoCrafter 等开源模型，尤其在真实场景动作延展上表现稳定。
此外，BAGEL 是少数在“视频-图像-文本”三模态间实现跨任务、跨模态统一生成能力的模型之一，例如：
- 给定一段视频 → 自动生成图文摘要；
- 给定图像+文字 → 合成短视频片段。
这一能力为自动内容创作、教育视频生成、新闻速写等领域提供了极高的实用性基础。
图像编辑能力评测：结构化控制的实用价值体现
图像编辑评测方面，BAGEL 主要在 GEdit-Bench（通用图像编辑评测）与 IntelligentBench（智能图像操控）上接受测试。评测维度涵盖任务理解能力、生成自然性、编辑边界一致性、语义保留程度等。
核心评测数据如下：
| 测试维度 | GEdit-Bench 得分 | Gemini 2.0 得分 | Step1X-Edit 得分 | 说明 |
|---|---|---|---|---|
| 编辑语义理解准确率 | 92.1% | 88.4% | 85.2% | 能否正确理解用户编辑指令 |
| 编辑边界自然性 | 4.4/5 | 4.2/5 | 3.8/5 | 图像修改区域的拼接自然程度 |
| 编辑任务完成度 | 91.7% | 87.2% | 86.3% | 用户主观打分+图像可用性评估 |
从多个维度来看，BAGEL 在图像编辑任务中的优势不仅体现在“能完成”，更体现在“完成得自然”“符合人类习惯”，这对于用户真实体验至关重要。
统一架构下的性能均衡：能力分布更合理
在统一架构的设计基础上，BAGEL 保持了各模态任务之间的能力平衡，没有出现“某项能力强，其他能力失衡”的问题。Seed 团队对训练阶段的损失加权、专家路径激活控制机制进行了优化，确保模型在视觉、文本、视频三线能力上均衡提升。
此外，BAGEL 还提供多种版本（标准版、量化版、轻量级推理版），以适配不同硬件条件与任务需求，保证用户在部署端的运行效率。
例如：
- 标准版（14B）：在 1×A100 GPU 上推理时间控制在 0.8s 以内；
- 8-bit 量化版：可在 RTX 3090 单卡下运行；
- LoRA 微调兼容版：支持个性化指令学习与定制任务适配。
这些不同版本之间性能对比如下表所示：
| 模型版本 | 显卡适配 | 平均推理延迟 | 任务表现下降幅度 |
|---|---|---|---|
| 标准全精度版 | A100 / H100 | 0.8s | 0%（基准） |
| 8-bit 量化版 | RTX 3090 / 4090 | 1.2s | -3.1% |
| LoRA 精调版 | A100 / 4090 | 1.0s | -1.6% |
这种多版本部署策略增强了 BAGEL 的现实适应力，使其可被用于高算力服务器、消费级工作站乃至轻量边缘端。