LLM 发射模态信号 → 扩散解码器生成图像 / 音频 / 视频
<image>…</image> 的文本,看解析器如何拆成解码任务。目标:在免费 Static Space 上展示 NExT-GPT 的「任意模态 → 任意模态」思路,同时把重计算放到离线。
文本指令 ──► ① 信号解析器(浏览器实时运行)
│ 识别 /
说明:受 CPU 算力限制,Lite 流水线用 SD-Turbo / 轻量合成替代 NExT-GPT 的 7B LLM + 三个扩散模型; 信号解析逻辑与 NExT-GPT 的「模态信号 token」机制一致。
| NExT-GPT 组件 | 本 Lite 流水线 |
|---|---|
| ImageBind 编码器 | (离线阶段)图像描述直接驱动扩散 |
| LLM 发射模态信号 | 信号解析器(规则化实时解析) |
| 图像解码器(SD v2) | Stable Diffusion Turbo |
| 音频解码器(AudioLDM) | 轻量音频合成 |
| 视频解码器(ZeroScope) | 多帧合成 GIF |
NExT-GPT 是首个端到端「任意模态 → 任意模态」多模态大模型(ICML 2024 Oral): ImageBind 编码图像/视频/音频 → 输入投影层对齐语言空间 → Vicuna-7B 理解推理并发射模态信号 token → 输出投影层驱动 Stable Diffusion / ZeroScope / AudioLDM 生成对应模态。
| 阶段 | 训练对象 | 目标 |
|---|---|---|
| 1 编码侧对齐 | 输入投影层 | 多模态特征对齐语言空间 |
| 2 解码侧对齐 | 输出投影层 | 信号 token 驱动解码器 |
| 3 指令微调 | LLM(LoRA)+输入/输出投影层 | 指令跟随与多模态生成 |
本机 CPU-only,NExT-GPT 完整推理需约 40GB 权重 + GPU,故按课程说明①提交「代码 + 执行结果」。 已完成模块级复现(核心架构 / ImageBind 编码器 / 投影层 / 三模态解码器全部导入通过), 并修复 5 类新旧依赖兼容问题。
1. 环境检查 Python 3.12.7 | torch 2.14.1+cpu | CUDA: False 2. 核心模块导入 OK(13 种对话模板) IMAGE_TOKEN_INDEX=-200 VIDEO_TOKEN_INDEX=-300 AUDIO_TOKEN_INDEX=-400 4. 模型构建模块 nextgpt.model.builder / multimodal_encoder / projector / decoder 全部 导入 OK
完整执行日志:run_log.txt
conda create -n nextgpt python=3.8 conda install pytorch==2.1.2 torchvision==0.14.1 torchaudio==0.13.1 pytorch-cuda=11.6 -c pytorch -c nvidia git clone https://github.com/NExT-GPT/NExT-GPT.git && cd NExT-GPT pip install -r requirements.txt # 下载 ImageBind / Vicuna-7B / NExT-GPT 增量权重后 python predict.py
NExT-GPT/ ├── nextgpt/ │ ├── model/ │ │ ├── nextgpt_arch.py # 主体架构 │ │ ├── language_model/ # Vicuna(LLaMA) │ │ ├── multimodal_encoder/ # ImageBind │ │ ├── multimodal_projector/ # 输入/输出投影层 │ │ └── multimodal_decoder/ # SD / AudioLDM / ZeroScope │ ├── conversation.py # 13 种对话模板 │ └── constants.py # 模态 token 索引 ├── predict.py # 推理入口 ├── train.py # 训练入口 └── requirements.txt
signal_parser.js # 浏览器端实时信号解析(本页交互核心) lite_generate.py # 离线生成:SD-Turbo 出图 / 音频合成 / 帧合成 GIF
| 问题 | 修复 |
|---|---|
| torchvision.transforms.functional_tensor 缺失 | 加兼容 shim |
| apply_chunking_to_forward / find_pruneable_heads_and_indices 迁移 | 改从 pytorch_utils 导入 |
| resolve_revision 缺失(diffusers) | diffusers 降为 0.30.0 |
完整代码见提交文件夹 代码/NExT-GPT/。