requirements.txt 说明文档

requirements.txt 不是 notebook，也不是 Python 脚本。
它是一份依赖清单。

你可以把它理解成：

• “这套实验想正常跑起来，需要先准备哪些 Python 包”

对初学者来说，它的意义不是“背包名”，而是理解：

• 一个大模型实验并不是只靠 torch 就能完成
• 模型、数据、LoRA、训练器、notebook、日志，这些通常来自不同的包

一、文件原文

torch
transformers
datasets
peft
accelerate
trl
jupyterlab
sentencepiece
scipy
scikit-learn
tensorboard
bitsandbytes

这份文件看起来很短，但它其实概括了这套最小 LoRA 实验依赖的整个工具栈。

二、这一行一行到底是什么意思

在 requirements.txt 里：

• 每一行通常表示一个 Python 包名
• pip install -r requirements.txt 时，pip 会按这份清单逐个安装

也就是说，这个文件本质上是在说：

• “请把下面这些工具都装到当前 Python 环境里”

三、逐行解释每个包

1. torch

这是 PyTorch。

它是整个实验最底层、最核心的深度学习框架。

如果没有 torch，后面的很多东西都没法工作，因为：

• 模型参数是 tensor
• 前向传播和反向传播依赖 torch
• GPU 训练依赖 torch.cuda

在这套实验里，你已经见过它的使用，例如：

• torch.cuda.is_available()
• torch.no_grad()
• .cuda()

可以把它理解成：

• 这套实验的“发动机”

2. transformers

这是 Hugging Face 的 Transformers 包。

它负责：

• 加载 tokenizer
• 加载预训练模型
• 提供 Trainer
• 提供 TrainingArguments
• 提供 generate()

你在 notebook 里已经见过很多它的接口：

• AutoTokenizer
• AutoModelForCausalLM
• Trainer
• TrainingArguments

如果说 torch 是底层发动机，那么 transformers 更像：

• “帮你快速使用现成大模型的高级工具箱”

3. datasets

这是 Hugging Face 的 Datasets 包。

它负责：

• 把原始数据变成统一的数据集对象
• 支持 .map() 这类批处理操作
• 更方便地做 tokenization 和数据预处理

在这套实验里，你已经见过：

• Dataset.from_list(...)
• train_ds.map(...)

可以把它理解成：

• “训练数据管理器”

4. peft

这是 PEFT 包，全称是：

• Parameter-Efficient Fine-Tuning

它负责：

• LoRA
• Adapter
• Prefix / Prompt Tuning 等轻量微调方法

在这套实验里，最关键的两样就是：

• LoraConfig
• get_peft_model

还有推理时的：

• PeftModel.from_pretrained(...)

如果这门课第 11 章最核心的主题是“LoRA 微调”，那 peft 就是最核心的课程工具之一。

5. accelerate

这是 Hugging Face 的 Accelerate 包。

它的主要作用是：

• 让训练更容易适配 GPU、多卡、混合精度等环境

即使在最小实验里你没有显式写很多 accelerate 代码，它也常常是 Trainer 和 Hugging Face 训练栈背后的依赖。

所以你可以把它理解成：

• “训练环境适配器”

初学阶段不用把它想得太复杂，只要知道：

• 很多 Hugging Face 训练功能需要它

6. trl

这是 Hugging Face 的 TRL 包。

全称通常和：

• Transformer Reinforcement Learning

相关。

在这套 tiny-gpt2 最小 LoRA 实验里，trl 并不是主角。
因为这里主要用的是：

• Trainer
• peft

但课程后面的更进阶实验，尤其是：

• 对齐
• RL 后训练
• SFTTrainer
• GRPO / PPO 一类教程

会和 trl 更相关。

所以它出现在依赖里，更多是为了：

• 和课程后续材料保持兼容

你可以把它理解成：

• “给后续课程预留的训练工具”

7. jupyterlab

这个包负责：

• 启动 JupyterLab 界面
• 打开 .ipynb notebook
• 在网页里逐格运行代码

如果没有它，你很难像现在这样直接在浏览器里运行：

• 00_check_env.ipynb
• 01_lora_demo.ipynb
• 02_eval_and_infer.ipynb

所以它不是模型工具，而是：

• “实验界面工具”

8. sentencepiece

这是一个 tokenizer 相关工具包。

很多模型的 tokenizer 底层依赖它，尤其是：

• T5
• LLaMA
• 一些中文 / 多语言模型

在当前 tiny-gpt2 这个最小实验里，它未必每次都会被直接调用。
但课程后面如果切换到别的模型，它非常可能变成必要依赖。

你可以把它理解成：

• “某些 tokenizer 背后的分词引擎”

9. scipy

这是科学计算基础包。

它不是大模型专用包，但很多机器学习和训练相关工具会间接依赖它。

它通常负责：

• 数值计算
• 数学函数
• 稀疏矩阵
• 某些评估或优化相关操作

对初学者来说，只需要知道：

• 它是常见的底层科学计算依赖

10. scikit-learn

也就是常说的：

• sklearn

它是经典机器学习工具库。

在当前这套最小 LoRA 实验里，它不是主角，但在真实工程里常常会被用来做：

• 数据切分
• 简单评测
• 指标计算
• 预处理

所以它更像一个：

• 常见辅助工具箱

11. tensorboard

这是训练日志可视化工具。

它的作用是：

• 查看 loss 曲线
• 看训练和验证趋势
• 看实验日志

在最小实验里你还没有真正用它打开图形界面，但很多正式训练都会配合它一起使用。

你可以把它理解成：

• “训练过程的图表板”

12. bitsandbytes

这是和量化、低比特训练很相关的包。

它通常用于：

• 8-bit
• 4-bit
• 更省显存的模型加载

在当前 tiny-gpt2 最小实验里，它并不是必须被用上。
因为这套实验故意选了一个非常小的模型。

但在课程第 11 章真正走向大模型时，它会变得非常重要，因为：

• 很多大模型如果不量化，单卡根本放不下

所以它代表的是：

• “从最小实验走向真实大模型工程”的一条关键技术路线

四、哪些包是这套最小实验的核心，哪些是扩展

如果你只看当前 course_lora-tinygpt2 这套最小实验，那么最核心的是：

核心必需

• torch
• transformers
• datasets
• peft
• accelerate
• jupyterlab

课程扩展或后续更常用

• trl
• sentencepiece
• scipy
• scikit-learn
• tensorboard
• bitsandbytes

所以如果你看到某些包“这次实验里似乎没怎么直接用到”，不用紧张。
这很正常，因为课程依赖文件常常会：

• 覆盖最小实验
• 也兼顾后续升级实验

五、为什么不把版本号也写进去

你可能会注意到，这份 requirements.txt 里没有写：

torch==2.3.1
transformers==4.46.0

这种固定版本号。

这意味着：

• 这份依赖清单比较宽松
• 安装时会使用当前环境中可获得的版本

这样做的优点是：

• 安装更方便
• 不容易被某个版本卡死

缺点是：

• 不同时间安装，版本可能略有差异

对于课程最小实验来说，这样做通常是可以接受的。
但如果以后要做更严格的复现实验，可能就需要锁版本。

六、这一份文件最想让初学者理解什么

1. 大模型实验不是只装一个 torch 就够了
2. 模型、数据、LoRA、训练器、界面、量化，各有各的工具包
3. requirements.txt 的作用不是“炫包名”，而是把实验所需环境一次性交代清楚
4. 有些包是当前最小实验直接要用的，有些包是为后续课程升级做准备的

七、你真正需要记住的最少版本

如果你只想抓住当前最小实验最重要的几个包，可以先记住这 4 个：

• torch
• transformers
• datasets
• peft

因为这 4 个基本就对应了这套实验的 4 个核心层次：

• 张量和 GPU
• 模型和 tokenizer
• 数据处理
• LoRA 微调

把这条主线抓住，后面再看其他包就不会乱。