大语言模型微调与应用开发训练营 ChatGLM LLaMA RLHF MoE DP前沿技术全景实战

  课程介绍

本课程是AI大模型微调与应用开发训练营,专为希望深入掌握 大语言模型核心技术与落地实践 的学员设计。课程覆盖从基础原理到前沿应用的完整路径,帮助你快速突破大模型研发与实战的关键难点。

在课程中,你将学习:

大语言模型基础与演进:从Transformer、GPT到LLaMA的架构原理与发展脉络;

高效微调技术:LoRA、QLoRA、Adapter、PEFT框架的原理与实战;

训练数据构建与优化:自动生成、数据增强、提示工程与稳定性实践;

强化学习对齐技术:RLHF(人类反馈)与RLAIF(AI反馈)的核心机制与实现;

模型量化与加速:GPTQ、AWQ、BitsAndBytes 等主流量化方法;

分布式训练与优化:DeepSpeed ZeRO、并行训练技术、显存优化方法;

主流模型实战:ChatGLM3、LLaMA2、CogVLM、GLM-4 等模型的微调与部署;

国产化平台应用:基于华为 Ascend 910B 的大模型微调实践。

通过本课程,你不仅能掌握 前沿大模型微调与高效训练技术,还能独立完成 私有数据定制、模型优化加速、应用部署与落地,为科研、创业或企业项目提供核心竞争力。

要不要我再帮你写一个 更吸引人的招生文案版本(带有营销导向,突出学完后能做什么、就业前景等)

  课程目录

├─01-课前准备.docx

├─02-课程表.webp

├─AI大模型微调训练营第5期_文件目录.txt

(1)\直播回放;目录中文件数:3个

├─10.17 第四次直播答疑.mp4

├─8.29 第一次直播答疑.mp4

├─9.26 第三次直播答疑.mp4

(2)\第10章;目录中文件数:7个

├─1. 章节介绍.mp4

├─2. 使用 ChatGPT 自动设计生成训练数据的 Prompt.mp4

├─3. 合成数据: LangChain + GPT-3.5 Turbo.mp4

├─4. 数据增强:提升训练数据多样性.mp4

├─5. 提示工程:保持批量生成数据稳定性.mp4

├─6. 实战私有数据微调 ChatGLM3.mp4

├─7.作业.txt

(3)\第11章;目录中文件数:4个

├─1. 章节介绍.mp4

├─2. ChatGPT 大模型训练核心技术.mp4

├─3. 基于人类反馈的强化学习(RLHF)技术详解.mp4

├─4. 基于 AI 反馈的强化学习(RLAIF)技术.mp4

(4)\第12章;目录中文件数:4个

├─1. 章节介绍.mp4

├─2. MoEs 技术发展简史.mp4

├─3. MoEs 与大模型结合后的技术发展.mp4

├─4. MoEs 实例研究:Mixtral-8x7B.mp4

(5)\第13章;目录中文件数:5个

├─1. 章节介绍.mp4

├─2. LLaMA 1 大模型技术解读.mp4

├─3. LLaMA 1 衍生模型大家族.mp4

├─4. LLaMA 2 大模型技术解读.mp4

├─5. 申请和获取 LLaMA 2 模型预训练权重.mp4

(6)\第14章;目录中文件数:4个

├─1. 章节介绍.mp4

├─2. 大模型训练技术总结.mp4

├─3. LLaMA2-7B 指令微调上手实战.mp4

├─4. 再谈中文指令微调方法.mp4

(7)\第15章;目录中文件数:11个

├─1. 章节介绍.mp4

├─10. 实战 DeepSpeed ZeRO-2 和 ZeRO-3 单机单卡训练.mp4

├─11. DeepSpeed 创新模块 Inference Compression Science.mp4

├─2. 预训练模型显存计算方法.mp4

├─3. Zero Redundancy Optimizer ZeRO技术详解.mp4

├─4. Microsoft DeepSpeed 框架和核心技术.mp4

├─5. 分布式模型训练并行化技术对比.mp4

├─6. DeepSpeed 与 Transformers 集成训练大模型.mp4

├─7. DeepSpeed 框架编译与安装.mp4

├─8. DeepSpeed ZeRO 配置详解.mp4

├─9. 使用 DeepSpeed 单机多卡、分布式训练.mp4

(8)\第16章;目录中文件数:6个

├─1. 章节介绍.mp4

├─2. 蓝色星球的算力霸主:NVIDIA.mp4

├─3. 厚积薄发的江湖大佬:Google.mp4

├─4. 努力追赶的国产新秀:华为.mp4

├─5. 华为昇腾全栈 AI 软硬件平台介绍.mp4

├─6. 实战:华为 Ascend 910B 微调 ChatGLM 6B 模型.mp4

(9)\第17章;目录中文件数:11个

├─1. GLM 大模型家族介绍.mp4

├─1.GLM大模型家族介绍.pdf

├─2. GLM 模型部署微调实践.mp4

├─2.GLM模型部署实践.pdf

├─3. CogVLM模型部署实践.mp4

├─3.CogVLM模型部署实践.pdf

├─4. 选学 智谱第四代 API 介绍.mp4

├─4.选学 GLM4 GLM4V API 调用实践.pdf

├─5. 选学 API 基础教学和实战-问题解决方案.txt

├─5. 选学 API 基础教学和实战.mp4

├─6. 使用 GLM-4 API 构建模型和应用.mp4

(10)\第1章;目录中文件数:8个

├─1. 章节介绍.mp4

├─2. AI技术浪潮:弱人工智能、机器学习、深度学习、大语言模型.mp4

├─3. AI应用浪潮:高校共识、硅谷创新、中美博弈.mp4

├─4. 把握浪潮:AI 大模型助力超级个体和小团队.mp4

├─5. AI大模型四阶技术总览:提示工程(Prompt Engineering).mp4

├─6. AI大模型四阶技术总览:AI智能体(Agents).mp4

├─7. AI大模型四阶技术总览:大模型微调(Fine-tuning).mp4

├─8. AI大模型四阶技术总览:预训练技术(Pre-training).mp4

(11)\第2章;目录中文件数:7个

├─1. 章节介绍.mp4

├─2. 统计语言模型.mp4

├─3. 神经网络语言模型.mp4

├─4. 大语言模型:注意力机制.mp4

├─5. 大语言模型:Transformer网络架构.mp4

├─6. 大语言模型:GPT-1与BERT.mp4

├─7. 大语言模型:暴力美学GPT系列模型.mp4

(12)\第3章;目录中文件数:6个

├─1. 章节介绍.mp4

├─2. Hugging Face Transformers快速入门.mp4

├─3. Transformers核心功能模块.mp4

├─4. 大模型开发环境搭建.mp4

├─5. 实战Hugging Face Transformers工具库.mp4

├─6.作业.txt

(13)\第4章;目录中文件数:6个

├─1. 章节介绍.mp4

├─2. 数据集处理库Hugging Face Datasets.mp4

├─3. Transformers模型训练入门.mp4

├─4. 实战训练BERT模型:文本分类任务.mp4

├─5. 实战训练BERT模型:QA任务.mp4

├─6.作业.txt

(14)\第5章;目录中文件数:6个

├─1. 章节介绍.mp4

├─2. Before PEFT:Hard Prompt Full Fine-tune.mp4

├─3. PEFT主流技术分类介绍.mp4

├─4. PEFT – Adapter技术.mp4

├─5. PEFT – Soft Prompt 技术(Task-specific Tuning).mp4

├─6. PEFT – Soft Prompt 技术(Prompt Encoder).mp4

(15)\第6章;目录中文件数:6个

├─1. 章节介绍.mp4

├─2. LoRA低秩适配微调技术.mp4

├─3. AdaLoRA自适应权重矩阵微调技术.mp4

├─4. QLoRA量化低秩适配微调技术.mp4

├─5. UniPELT:大模型PEFT统一框架.mp4

├─6. (IA)3:极简主义增量训练方法.mp4

(16)\第7章;目录中文件数:5个

├─1. 章节介绍.mp4

├─2. Hugging Face PEFT 快速入门.mp4

├─3. OpenAI Whisper 模型介绍.mp4

├─4. 实战 LoRA 微调 Whisper-Large-v2 中文语音识别.mp4

├─5.作业.txt

(17)\第8章;目录中文件数:7个

├─1. 章节介绍.mp4

├─2. 模型显存占用与量化技术简介.mp4

├─3. GPTQ:专为 GPT 设计的模型量化算法.mp4

├─4. AWQ:激活感知权重量化算法.mp4

├─5. BitsAndBytes(BnB) :模型量化软件包.mp4

├─6. 实战 Facebook OPT 模型量化.mp4

├─7.作业.txt

(18)\第9章;目录中文件数:7个

├─1. 章节介绍.mp4

├─2. 基座模型 GLM-130B.mp4

├─3. 扩展模型:联网检索、多模态、代码生成.mp4

├─4. 对话模型 ChatGLM 系列.mp4

├─5. ChatGLM3-6B 微调入门.mp4

├─6. 实战 QLoRA 微调 ChatGLM3-6B.mp4

├─7.作业.txt

(19)\第10章\课件;目录中文件数:1个

├─10-实战私有数据微调ChatGLM3.pdf

(20)\第11章\课件;目录中文件数:2个

├─11-ChatGPT大模型训练技术RLHF.pdf

├─RLHF论文.zip

(21)\第12章\课件;目录中文件数:2个

├─12-混合专家模型(MoEs)技术揭秘.pdf

├─MoEs论文.zip

(22)\第13章\课件;目录中文件数:2个

├─13-Meta AI 大模型 LLaMA.pdf

├─LLaMA论文.zip

(23)\第14章\课件;目录中文件数:1个

├─14-实战LLaMA2-7B指令微调.pdf

(24)\第15章\课件;目录中文件数:1个

├─15-大模型分布式训练框架Microsoft DeepSpeed.pdf

(25)\第16章\课件;目录中文件数:1个

├─16-国产化实战:基于华为 Ascend 910 微调 ChatGLM-6B.pdf

(26)\第1章\课件;目录中文件数:1个

├─1-AI大模型四阶技术总览.pdf

(27)\第2章\课件;目录中文件数:3个

├─2-大语言模型技术发展与演进.pdf

├─代码链接地址.txt

├─论文.zip

(28)\第3章\课件;目录中文件数:1个

├─5-大模型开发工具库 HF Transformers.pdf

(29)\第4章\课件;目录中文件数:1个

├─4-实战Transformers模型训练.pdf

(30)\第5章\课件;目录中文件数:3个

├─5-大模型高效微调技术揭秘(上).pdf

├─Fine-tuning论文.zip

├─Instruction-Tuning论文.zip

(31)\第6章\课件;目录中文件数:1个

├─6-大模型高效微调技术揭秘(下).pdf

(32)\第7章\课件;目录中文件数:1个

├─7-大模型高效微调工具HF PEFT 入门与实战.pdf

(33)\第8章\课件;目录中文件数:2个

├─8-大模型量化技术入门与实战.pdf

├─Quantization论文.zip

(34)\第9章\课件;目录中文件数:2个

├─9-GLM 大模型家族与ChatGLM3-6B微调入门.pdf

├─GLM论文.zip

资源下载
下载价格39 猫币
VIP免费
客服QQ:765807314
0

评论0

请先

没有账号?注册  忘记密码?