一、大模型预训练和微调实践

1. 常见大模型介绍与网络结构的统一性

2. 大模型的缩放法则与涌现能力

3. 大模型的基础训练过程（预训练、指令微调、强化学习对齐）

4. 大模型主流预训练框架介绍（Megatron，Deepspeed）

5. 大模型评价体系（数据集与榜单介绍）

二、预训练技术

1. “从零开始预训练”，常见数据集&如何组织训练数据（参考DoReMi进行数据配比）

2. “增量/继续预训练”，数据预处理&如何确定训练数据的格式（FurtherTrain考虑词表优化）

3. 数据处理流水线与数据质量保障

4. 如何在固定算例预算下，选择大模型的参数，和对应的数据规模

三、指令微调技术

1. 指令数据的结构与构造方法（指令丰富性与多样性）

2. 实践中大模型所需的指令数据规模

3. 指令强化-各类模型能力激发的关键

四、大模型对齐技术

1. 大模型价值对齐的实际价值（格式服从、安全保障、垂类强化）

2. 基于PPO算法的RLHF技术

3. 基于DPO算法的RLHF技术

4. 其他偏好对齐技术介绍（KTO等）

五、大模型训练实践（ 以LLAMA3为例）

1. 基础权重准备与推理部署

2. 微调数据集准备

3. 全参数微调与Lora微调

4. 分布式训练框架及对应资源准备

5. 大模型训练过程中的LOSS稳定性（数据构造与超参数设定）

6. 内容垂类模型微调实践（格式服从案例）

7. 大模型微调工厂的搭建

六、大模型落地实践项目

1. 大规模推理成本优化（量化、vLLM并行推理）

2. 检索强化型大模型应用（RAG）

3. 如何针对线上Case修复模型问题

4. 如何利用CoT与Agent机制提升模型效果

5. 大模型安全与大模型备案