AI大模型算法-从大模型原理剖析到训练(微调)落地实战（完结）

课程介绍

AI大模型职业发展必备课程，助你快速掌握稀缺算法落地技能，冲击高薪AI岗位。课程深入拆解大模型原理、算法与训练调优，覆盖DeepSeek生态、Transformer、MoE、GRPO、预训练及微调（Fine-tuning）等核心技术。通过20+实战案例和政务系统、公文生成两大企业级项目，全流程涵盖开发、微调、部署及融合RAG和Agent技术。帮你全面提升大模型算法开发和应用能力，增强职场竞争力，抢占AI时代技术制高点。

试看链接 https://pan.baidu.com/s/1wkRgWofvQ5u0OWBzcuH8Sw?pwd=avqi

相关推荐

RAG全栈技术从基础到精通 ，打造高精准AI应用

AI时代人人必修课-提示词工程+大语言模型 多场景实战

AI Agent从0到1定制开发 全栈/全流程/企业级落地实战

LLM应用全流程开发 全新技术+多案例实战+私有化部署

资源目录

├── 第1章 课程导学与环境介绍/
│   ├── [235M] 1-1课程介绍与安排【不要错过】
│   ├── [183M] 1-2为什么在AI时代要学习大模型及其相关的理论知识
│   ├── [125M] 1-3中国开发者学习DeepSeek的意义
│   ├── [117M] 1-4大模型常用学习资源与模型下载
│   ├── [208M] 1-5Anaconda介绍及安装
│   ├── [100M] 1-6pycharm安装级连接远程服务器
│   └── [188M] 1-7按图索骥AI技术全景介绍
├── 第2章 【小试牛刀】DeepSeek认知与体验/
│   ├── [173M] 2-1ChatGPT的诞生和DeepSeek的追赶
│   ├── [164M] 2-2DeepSeek能力体验与大模型的影响
│   ├── [159M] 2-3小试牛刀1-基于DeepSeek结合提示工程搭建功能强大的翻译机
│   └── [190M] 2-4小试牛刀2-几行代码实现DeepSeek蒸馏模型私有化部署实战
├── 第3章 【大模型理论】DeepSeek的诞生之路/
│   ├── [ 22M] 3-1自然语言处理解决的是什么问题
│   ├── [ 26M] 3-2规则和统计学的方法
│   ├── [ 35M] 3-3为什么要使用词向量以及向量表示的作用
│   ├── [ 84M] 3-4如何获得一份表示良好的词向量？
│   ├── [ 16M] 3-5词向量的价值
│   ├── [172M] 3-6小试牛刀词向量实战
│   ├── [104M] 3-7预训练模型
│   └── [128M] 3-8小试牛刀预训练模型实战
├── 第4章 【特征编码器Transformer】深入理解大模型的输入输出/
│   ├── [ 41M] 4-1大模型的文本切分与Token
│   ├── [ 80M] 4-2大模型的Tokenizer
│   ├── [ 73M] 4-3深入理解Tokenizer的作用及影响
│   ├── [ 42M] 4-4【小试牛刀】Tokenizer实战
│   ├── [ 63M] 4-5深入理解BPE算法训练和编码过程
│   ├── [191M] 4-6【实战】手撸BPE算法训练代码
│   ├── [ 48M] 4-7初步了解大模型中的位置编码
│   ├── [ 21M] 4-8大模型的输出流程介绍
│   ├── [ 80M] 4-9大模型解码原理详细介绍
│   ├── [114M] 4-10【实战】寻找大模型最佳推理参数实战（一）
│   └── [111M] 4-11【实战】寻找大模型最佳推理参数实战（二）
└── 第5章 【特征编码器Transformer】深入Transfomer中的注意力机制/
├── [132M] 5-1Transformer基础知识准备
├── [244M] 5-2【实战】手撸LayerNorm代码
├── [152M] 5-3【实战】手撸softmax代码
├── [124M] 5-4深入理解注意力机制
├── [ 37M] 5-5掩码自注意力机制
├── [ 34M] 5-6多头注意力机制
├── [126M] 5-7【实战】手撸attention机制代码
├── [121M] 5-8【实战】手撸masked_self_attention
├── [115M] 5-9【实战】手撸MaskedMultiHeadAttention代码（1）
└── [110M] 5-10【实战】手撸MaskedMultiHeadAttention代码（2）
├── 第5章 【特征编码器Transformer】深入Transfomer中的注意力机制/
│   ├── [132M] 5-1Transformer基础知识准备
│   ├── [243M] 5-2【实战】手撸LayerNorm代码
│   ├── [152M] 5-3【实战】手撸softmax代码
│   ├── [124M] 5-4深入理解注意力机制
│   ├── [ 37M] 5-5掩码自注意力机制
│   ├── [ 34M] 5-6多头注意力机制
│   ├── [126M] 5-7【实战】手撸attention机制代码
│   ├── [120M] 5-8【实战】手撸masked_self_attention
│   ├── [116M] 5-9【实战】手撸MaskedMultiHeadAttention代码（1）
│   ├── [110M] 5-10【实战】手撸MaskedMultiHeadAttention代码（2）
│   ├── [ 32M] 5-11残差连接和FFN
│   ├── [129M] 5-12【实战】手搓FFN和残差结构实现代码
│   ├── [108M] 5-13【实战】手撸TransformerDecoderBlock实现
│   ├── [135M] 5-14【实战】手撸Transformer整体代码（一）
│   ├── [193M] 5-15【实战】手撸Transformer整体代码（二）
│   ├── [ 50M] 5-16attention机制的进化：GQA和MQA
│   ├── [189M] 5-17【实战】手撸MQA注意力机制代码
│   ├── [ 95M] 5-18【实战】手撸GQA注意力机制代码（一）
│   └── [119M] 5-19【实战】手撸GQA注意力机制代码（二）
├── 第6章 【特征编码器Transformer】深入Transfomer中的位置编码/
│   ├── [ 62M] 6-1相对位置编码介绍
│   ├── [128M] 6-2旋转位置编码理论
│   ├── [ 75M] 6-3手撸旋转位置编码ROPE（1）
│   ├── [ 95M] 6-4手撸旋转位置编码ROPE（2）
│   ├── [116M] 6-5手撸旋转位置编码ROPE（3）
│   ├── [ 35M] 6-6旋转位置编码的核心参数及其影响
│   └── [ 62M] 6-7旋转位置编码的变种
├── 第7章 【预训练】大语言模型的预训练/
│   ├── [ 46M] 7-1大语言模型经典训练框架介绍
│   ├── [ 25M] 7-2大模型预训练(目标与任务)
│   ├── [ 53M] 7-3大模型预训练(MTPL多Token预测)
│   ├── [ 34M] 7-4大模型预训练(预训练数据和处理)
│   ├── [ 29M] 7-5大模型预训练(预训练过程)
│   ├── [ 51M] 7-6大模型的评估体系
│   ├── [ 62M] 7-7大模型代码能力的评估
│   ├── [ 61M] 7-8大模型数学能力的评估
│   ├── [ 56M] 7-9大模型阅读理解能力的评估
│   ├── [117M] 7-10大模型综合评测榜单介绍
│   ├── [197M] 7-11【实战】DeepSeek代码能力评估实战之（第一步：模型推理）
│   ├── [217M] 7-12【实战】DeepSeek代码能力评估实战之（第二步：模型结果处理）
│   └── [136M] 7-13【实战】DeepSeek代码能力评估之（第三步：代码执行检查）
├── 第8章 【预训练】 预训练的数据工程/
│   ├── [ 59M] 8-1大模型预训练的数据搜集过程（数据集1）
│   ├── [120M] 8-2大模型预训练的数据搜集过程（数据集2）
│   ├── [6.6M] 8-3大模型预训练的数据搜集过程（预训练数据构造流程）
│   ├── [ 25M] 8-4大模型预训练的数据处理过程（数据处理流程）
│   ├── [128M] 8-5大模型预训练的数据处理过程（数据过滤+去重+审核）
│   ├── [ 90M] 8-6大语言模型预训练的多领域数据配比与学习顺序
│   ├── [ 55M] 8-7大模型安全问题
│   ├── [ 28M] 8-8大模型安全挑战：新型攻击与防御
│   └── [174M] 8-9LLM预训练领域数据配比DoReMI深度解读
├── 第9章 【预训练】 预训练的硬件体系讲解/
│   ├── [ 22M] 9-1大模型的分布式训练集群介绍
│   ├── [ 78M] 9-2大模型的分布式训练集群（参数服务器架构和去中心化架构）
│   ├── [102M] 9-3大模型的算力基础-显卡结构深度剖析
│   ├── [ 81M] 9-4大模型的算力基础-英伟达硬件架构体系（Fermi架构）
│   ├── [180M] 9-5大模型的算力基础-英伟达硬件架构体系（Ampere架构）
│   ├── [108M] 9-6大模型训练通信提效之Nvlink
│   ├── [131M] 9-7大模型训练通信提效之拓扑结构
│   └── [ 86M] 9-8大模型分布式训练通信协议NCCL、GRPC、HTTP
├── 第10章 【预训练】 大模型分布式预训练过程/
│   ├── [109M] 10-1大模型分布式训练概要-预训练任务与损失函数
│   ├── [107M] 10-2实战_手撸交叉熵损失函数代码
│   ├── [ 64M] 10-3大模型分布式训练之数据并行
│   ├── [ 38M] 10-4大模型分布式训练之模型并行概述
│   ├── [ 40M] 10-5大模型分布式训练模型并行之Embedding层并行
│   ├── [ 77M] 10-6Embedding并行代码解读
│   ├── [ 56M] 10-7模型并行之深入理解矩阵乘法并行原理
│   ├── [113M] 10-8模型并行之深入理解矩阵乘法并行代码解析
│   ├── [ 77M] 10-9模型并行之深入理解交叉熵损失的并行原理
│   ├── [105M] 10-10模型并行之深入理解交叉熵损失并行的代码
│   ├── [ 49M] 10-11模型并行之深入理解流水线并行
│   ├── [ 39M] 10-12分布式训练之异构系统并行
│   ├── [ 53M] 10-13大模型训练显存占用分析
│   ├── [144M] 10-14分布式训练软件框架deepspeed
│   ├── [ 55M] 10-15deepspeedzerodpstage1
│   ├── [ 39M] 10-16deepspeedzerodpstage2
│   ├── [ 27M] 10-17deepspeedzerodpstage3
│   └── [ 38M] 10-18deepspeedzerooffload
├── 第11章 【后训练】有监督微调/
│   ├── [ 61M] 11-1大语言模型的预训练和后训练
│   ├── [104M] 11-2大语言模型的指令微调技术
│   ├── [ 78M] 11-3大模型微调的评估方法
│   ├── [ 77M] 11-4大语言模型微调的数据构造
│   ├── [ 40M] 11-5大语言模型中的思维链数据
│   └── [ 74M] 11-6大语言模型微调框架llamafactory
├── 第12章 【后训练】参数高效督微调/
│   ├── [ 35M] 12-1参数高效微调概述
│   ├── [ 55M] 12-2深入理解lora参数高效微调的原理
│   ├── [101M] 12-3深入理解prefixtuning和prompttuning
│   └── [ 50M] 12-4深入理解AdapterTuning
├── 第13章 【后训练】强化学习基础/
│   ├── [ 60M] 13-1人类反馈式强化学习概述
│   ├── [ 94M] 13-2强化学习（基本概念+策略）
│   ├── [ 66M] 13-3强化学习的基本概念（值函数）
│   ├── [ 42M] 13-4贝尔曼方程介绍
│   ├── [134M] 13-5随机策略梯度算法
│   ├── [137M] 13-6【实战】强化学习实战之环境建模
│   ├── [ 64M] 13-7【实战】强化学习实战之策略评估
│   └── [ 72M] 13-8【实战】强化学习实战之策略优化
├── 第14章 【后训练】人类反馈式强化学习/
│   ├── [ 74M] 14-1奖励模型介绍
│   ├── [ 70M] 14-2PPO算法详解(1)
│   ├── [142M] 14-3PPO算法详解(2)
│   ├── [ 61M] 14-4PPO算法训练过程详解
│   ├── [ 73M] 14-5手撸奖励模型代码(1)
│   ├── [153M] 14-6手撸奖励模型代码(2)
│   └── [229M] 14-7PPO算法代码深入理解
├── 第15章 【DeepSeek核心技术解密】国产AI的崛起 DeepSeek核心技术突破/
│   ├── [133M] 15-1DeepSeek模型创新点介绍
│   ├── [101M] 15-2kvcache
│   ├── [132M] 15-3深入理解MLA机制和原理
│   ├── [151M] 15-4手撸MLA实现代码（1）
│   ├── [129M] 15-5手撸MLA实现代码（2）
│   ├── [133M] 15-6深入立即MOE机制和原理
│   └── [162M] 15-7手撸MOE实现代码
├── 第16章 【DeepSeek核心技术解密】DeepSeek V3与DeepSeek R1/
│   ├── [135M] 16-1深入理解大模型逻辑推理能力
│   ├── [141M] 16-2深入理解思维链技术
│   ├── [140M] 16-3深入理解GRPO算法
│   ├── [ 16M] 16-4GRPO实战项目任务介绍(2)
│   ├── [ 61M] 16-5辅助函数实现
│   ├── [ 72M] 16-6奖励函数的设计与实现
│   ├── [121M] 16-7数据加载与处理
│   └── [178M] 16-8手撸GRPO训练代码
└── 第17章 【企业落地实战】赋能千行百业：大模型落地应用透析/
├── [ 96M] 17-1大模型落地应用能力详解
├── [146M] 17-2大模型落地应用核心方法论介绍
├── [136M] 17-3大模型落地应用典型场景与案例介绍
└── [104M] 17-4大模型落地应用的挑战
├── 第18章 【企业落地实战】大模型落地应用核心方法论/
│   ├── [153M] 18-1深入理解提示工程和方法论
│   ├── [175M] 18-2深入理解RAG系统
│   ├── [ 61M] 18-3理解模型量化的过程
│   ├── [363M] 18-4大模型推理加速与vLLM
│   ├── [ 95M] 18-5大模型agent基本原理
│   ├── [215M] 18-6模型常规推理实战
│   ├── [152M] 18-7vllm推理加速实战（1）
│   └── [261M] 18-8vllm推理加速实战（2）
└── 第19章 【企业落地实战】Agent智能政务助手：具备十万字长文档理解/
├── [136M] 19-1项目目标与需求
├── [158M] 19-2源数据搜集
├── [136M] 19-3文本向量化
├── [ 70M] 19-4文本向量化实战1
├── [170M] 19-5文本向量化实战2
├── [308M] 19-6数据库ES介绍及其安装
├── [100M] 19-7ESmapping构造与索引创建
├── [ 97M] 19-8ES数据写入
├── [ 61M] 19-9ES数据删除
├── [205M] 19-10写入项目数据，embedding和文本数据
├── [186M] 19-11深入介绍ES检索DSL（1）
├── [188M] 19-12深入介绍ES检索DSL（2）
├── [148M] 19-13手写naiveRAG（1）
├── [150M] 19-14手写naiveRAG（2）
├── [175M] 19-15手写naiveRAG（3）
├── [206M] 19-16手写naiveRAG（4）
├── [ 28M] 19-17gradio聊天对话框介绍
├── [119M] 19-18gradiohello
├── [216M] 19-19gradio大模型对话窗口搭建
├── [211M] 19-20rag流式输出链路搭建
├── [ 84M] 19-21训练数据高效合成（1）
├── [ 74M] 19-22训练数据高效合成（2）
├── [ 68M] 19-23训练数据高效合成（3）
├── [ 92M] 19-24训练数据高效合成（4）
├── [121M] 19-25 训练数据高效合成（5）
├── [ 89M] 19-26 训练数据高效合成（6）
├── [117M] 19-27 合成政务类训练数据
├── [116M] 19-28 生成政务流程类训练数据及其优化
├── [108M] 19-29 集中处理训练数据
├── [147M] 19-30 模型微调 构造训练集测试集
├── [ 35M] 19-31 模型微调 开始训练
├── [ 51M] 19-32 模型训练效果测试（1）
└── [ 48M] 19-33 模型训练结果评测（2）
├── 第20章 【企业落地实战】生成公文写作系统：具备层次化多级目录万字长公文写作能力/
│   ├── [ 90M] 20-1 公文生成项目需求分析
│   ├── [ 70M] 20-2 项目需求拆解与提示词构造
│   ├── [ 23M] 20-3 公文数据搜集（1）
│   ├── [ 26M] 20-4 公文数据搜集（2）
│   ├── [ 51M] 20-5 训练数据构造
│   ├── [ 53M] 20-6 开始训练公文大模型1
│   ├── [ 65M] 20-7 模型评测集构建与模型评估实战
│   ├── [ 76M] 20-8 模型训练效果分析实战
│   ├── [116M] 20-9 模型问题解决、优化分析及针对性的数据构造
│   ├── [ 66M] 20-10 新的训练数据合成及模型训练
│   ├── [ 72M] 20-11 最终模型效果评估
│   └── [ 51M] 20-12 公文写作大模型总结
└── 第21章 【展望与前瞻】 多模态与大模型发展趋势/
├── [159M] 21-1 大模型的发展趋势
├── [ 80M] 21-2 多模态大模型理论介绍
└── [ 87M] 21-3 课程总结与就业指导
└── 代码/