多模态大模型 前沿算法与实战应用（完结）

试看链接  https://pan.baidu.com/s/1x55QCf4FuInicjlMh1LkxA?pwd=tj36 

相关推荐

JK-多模态大模型训练营

多模态Agent开发实战营

多模态大模型LLM与AIGC前沿技术实战

多模态与视觉大模型开发实战-2026年必会（完结）

AI大模型算法-从大模型原理剖析到训练(微调)落地实战（完结）

课程大纲

多模态大模型 前沿算法与实战应用

1Qwen3VL+LLaVA+InternVL+CLIP

课程简介

第一章多模态大模型前沿技术综述

2多模态AI简介与前沿技术进展
3通用多模态架构核心组件及其实现方式解析
4领域多模态架构及其视觉编码器和投影器详解
5领域多模态MoE、Mamba与统一框架：高效多模态方案
6从预训练到微调：数据在多模态模型中的全周期应用
7前沿多模态微调技术：PEFT与RLHF技术解析
8多模态评估方法详解
9多模态幻觉：数据、模型与训练深入探讨
10多模态模型应用场景分析

第二章多模态视觉编码器系列算法深度解析

11视觉编码器CLIP算法原理深入讲解
12视觉编码器EVA系列模型深入讲解

第三章多模态投影器系列算法核心解析

13投影器TokenPacker算法原理深入讲解
14投影器Matryoshka算法原理深入讲解

第四章LLaVA多模态系列算法实战解析

15LLaVA系列学习指南与课程内容速览
16LLaVA简介与视觉指令数据生成的原理
17LLaVA基于视觉指令数据进行模型微调的原理
18LLaVA 1.5探索视觉指令微调与高分辨率扩展
19LLaVA 1.6从高分辨率输入到高效部署
20LLaVA-NeXT Stronger更强的LLM与评估集
21LLaVA-NeXT全面的消融研究与综合分析
22LLaVA-NeXT-Interleave核心原理与架构解析

第五章实战项目1:LLaVA多模态模型全流程实战

23LLaVA环境配置与模型下载
24LLaVA在五种场景下的模型部署与推理
25基于Transformers进行LLaVA案例实践
26Transformers框架下LLaVA推理核心源码解析
27使用LMDeploy部署模型并访问API服务
28基于LMDeploy的Pipeline接口进行推理
29基于自定数据集进行LLaVA模型预训练实战
30基于LoRA和QLoRA进行LLaVA模型微调
31基于合并的模型进行服务部署
32在常见基准和LLaVA-Bench上进行LLaVA模型评测
33LLaVA推理核心源码Debug深入讲解(上)
34LLaVA推理核心源码Debug深入讲解(中)
35LLaVA推理核心源码Debug深入讲解(下)
36LLaVA模型LoRA微调核心源码Debug深入讲解

第六章 实战项目2:LLaVA-NeXT多模态核心技术实战

37LLaVA-NeXT 环境配置 模型下载 模型推理实践
38LLaVA-NeXT 模型推理核心代码Debug深入讲解
39基于SGLang框架进行API模型服务部署与推理
40基于SGLang模型部署以及异步和同步并发请求测试
41基于SGLang Runtime加载模型并进行推理
42基于Gradio进行多模态问答交互与核心源码深入讲解(上)
43基于Gradio进行多模态问答交互与核心源码深入讲解(下)
44LLaVA-NeXT-Interleave-Bench评估实践
45Interleave-Bench 模型评估核心源码深入讲解(上)
46Interleave-Bench 模型评估核心源码深入讲解(下)

第七章 阿里多模态系列核心技术与算法解析

47阿里多模态项目 学前导览
48多模态mPLUG算法原理剖析(上)
49多模态mPLUG算法原理剖析(下)
50多模态 mPLUG-2 算法原理剖析
51多模态 mPLUG-Owl 核心算法原理剖析
52多模态 mPLUG-Owl-2 核心算法原理剖析
53多模态 Qwen-VL 核心算法原理剖析
54多模态 UReader 核心算法原理剖析
55多模态 mPLUG-DocOwl 核心算法原理剖析
56多模态 mPLUG-DocOwl-1.5核心算法原理剖析
57多模态 mPLUG-PaperOwl 核心算法原理剖析
58多模态 mPLUG-TinyChart 核心算法原理剖析

第八章实战项目3:Qwen-VL项目全流程实战

59通义千问 Qwen-VL 项目实战简介
60项目环境配置与模型下载
61基于Transformers框架进行模型推理
62基于Gradio进行Web QA交互
63Qwen-VL 模型推理核心源码进行讲解(上)
64Qwen-VL 模型推理核心源码进行讲解(下)
65适配OpenAI API接口 启动API服务并测试
66使用LMDeploy CLI启动API服务并实现访问
67LMDeploy使用Docker部署模型API服务
68基于QPS比较Transformers和LMDeploy部署方案
69Qwen-VL 多模态模型微调实战(上)
70Qwen-VL 多模态模型微调实战(下)
71Qwen-VL 模型微调核心源码讲解
72Qwen-VL 模型在多个基准数据集上进行评估实战
73Qwen-VL 模型评估核心源码讲解(上)
74Qwen-VL模型评估核心源码讲解(下)

第九章 IXC多模态技术原理与深度剖析

75XComposer 学前导览
76XComposer-1.0算法深度剖析与原理讲解
77XComposer 2.0 算法进阶解析与核心原理
78XComposer 2.0 4KHD 算法原理深入讲解
794KHD高清图像动态分割算法的Python实现
80XComposer 2.5 新版算法原理详解

第十章实战项目4:IXC多模态项目深度实战演练

81IXC项目简介与环境配置：模型下载指南
82使用Transformers实现多模态模型推理
83通过Gradio构建多模态Web交互问答系统
84深入解析推理核心源码(上)
85深入解析推理核心源码(下)
86利用LMDeploy pipeline实现四种场景下的模型推理
87使用OpenAI集成VLM服务并进行API服务测试
88基于LMDeploy和Docker容器化部署模型并测试API服务
89通过LMDeploy加载4-bit量化模型进行推理
90调用OpenAI API生成自定义多模态数据集(上)
91调用OpenAI API生成自定义多模态数据集(中)
92调用OpenAI API生成自定义多模态数据集(下)
93使用自定义数据集进行多模态模型LoRA微调实战
94将LoRA权重与原模型合并后进行服务部署并测试
95XComposer核心源码Debug深入剖析（第一部分）
96XComposer核心源码Debug深入剖析（第二部分）
97XComposer核心源码Debug深入剖析（第三部分）
98XComposer核心源码Debug深入剖析（第四部分）

第十一章实战项目5:长视频理解TimeSearch-R

99TimeSearch-R : 自适应时序搜索 + 自验证强化学习
100TimeSearch-R 本地推理 + 检索服务部署全流程
101端到端训练实战（上）：SFT打底+GRPO-CSV强化学习进阶
102端到端训练实战（下）：SFT打底+GRPO-CSV强化学习进阶

第十二章阿里Qwen3-VL原理详解与项目实战

103Qwen3-VL：突破多模态长上下文与视觉推理的架构革新
104RoPE 原理概述与频谱偏见
105深入理解交错式 MRoPE 位置编码策略
106DeepStack 从浅层到深层的视觉特征融合
107基于文本的显示时间戳
108视觉 System 2 慢思考
109Qwen3-VL 项目概览、架构与 Web 服务 Docker
110Qwen3-VL环境配置+Transformers/vLLM推理
111Qwen3-VL 微调数据集准备
112Qwen3-VL 微调训练与模型评估实战