`outputs/notebook_demo/` 目录说明文档

这个目录是：

也就是说，它不是原始模型目录，而是 01_lora_demo.ipynb 跑完以后生成的结果。

对 LoRA 实验来说，这个目录尤其重要，因为它最能说明一件事：

LoRA 训练后保存下来的，到底是什么

很多初学者会以为训练完会得到一个“全新的完整模型目录”。
但在 LoRA 里，通常更重要的是：

adapter 权重
adapter 配置
与这次训练对应的 tokenizer

这就是这个目录存在的意义。

一、这个目录里有哪些文件

当前目录里主要有：

README.md
adapter_config.json
adapter_model.safetensors
tokenizer.json
tokenizer_config.json
training_args.bin

这些文件共同构成：

一次最小 LoRA 微调的训练输出

二、`adapter_config.json`：LoRA 配置说明书

这个文件非常关键。

它不是权重本身，而是：

这次 LoRA 是怎么配置的

里面最值得学生看的字段

`"base_model_name_or_path": "/root/course_lora/models/tiny-gpt2"`

这说明：

这次训练是基于哪个 base model 做的

这也是 LoRA 最重要的证据之一：

adapter 不能脱离 base model 单独存在

`"peft_type": "LORA"`

明确告诉你：

这次 PEFT 方法就是 LoRA

`"r": 8`

这对应训练时的低秩大小。

`"lora_alpha": 16`

这对应训练时的缩放系数。

`"lora_dropout": 0.05`

这对应训练时的 LoRA dropout。

也就是说，这些参数并不是只在训练时临时存在，它们会被写进配置文件里，方便以后重新加载。

`"bias": "none"`

表示这次 LoRA 没有额外训练 bias。

`"task_type": "CAUSAL_LM"`

说明这次任务类型是因果语言模型。

`"target_modules": ["c_attn"]`

这一项特别值得学生注意。

它表示：

LoRA 实际作用在模型里的哪些模块上

这里写的是：

c_attn

可以先粗略理解成：

GPT-2 里与注意力投影相关的模块

这条信息非常重要，因为它说明：

LoRA 不是“加在整个模型所有地方”
而是加在特定模块上

`"inference_mode": true`

说明这个 adapter 当前被保存成适合推理加载的状态。

三、`adapter_model.safetensors`：LoRA 真正学到的增量参数

这个文件是：

LoRA 训练结果里最核心的权重文件

如果说：

models/tiny-gpt2/model.safetensors
- 保存的是 base model 全部权重

那么：

adapter_model.safetensors
- 保存的是 LoRA adapter 学到的增量参数

这是学生最该真正理解的一点：

LoRA 训练不是再存一份完整大模型
而是只存变化的那一小部分

这也正是 LoRA 节省存储和微调成本的原因之一。

四、`tokenizer.json` 和 `tokenizer_config.json`

这两个文件和 base model 目录里同名文件的作用类似：

保存 tokenizer 规则
保存 tokenizer 配置

为什么训练输出目录里也要保存一份 tokenizer

因为在真实工程里，训练结果目录通常希望尽量自包含。

也就是说，你后面如果拿到这个目录做推理，最好能直接：

从这里加载 tokenizer

而不是再去猜该用哪份 tokenizer 配置。

在这套课程最小实验里，代码就是这样做的：

tokenizer = AutoTokenizer.from_pretrained(adapter_dir)

这说明：

输出目录里保存 tokenizer，是为了让推理更顺手

五、`training_args.bin`：训练参数快照

这个文件保存的是：

训练参数对象

也就是 TrainingArguments(...) 里的那一整组设置。

比如：

输出目录
batch size
学习率
日志步长
保存步长

对初学者来说，不需要直接打开这个二进制文件。
你只需要知道：

它存在的意义是“把这次训练用过的参数顺手存下来”

这有助于以后做复现和排查。

六、`README.md`：自动生成的模型卡

这个文件看起来很长，而且有很多：

[More Information Needed]

这是正常的。

它通常是 Hugging Face / PEFT 在保存模型时自动生成的一份模板型模型卡。

它目前真正有用的信息主要有哪些

`base_model: /root/course_lora/models/tiny-gpt2`

再次告诉你：

这份 adapter 是基于哪个 base model 训练出来的

`library_name: peft`

说明这份训练输出来自：

PEFT / LoRA 生态

`pipeline_tag: text-generation`

说明这个结果主要面向：

文本生成

`tags:`

里面有：

lora
transformers

这些标签更多是元信息。

为什么这份 README 不完整

因为这是自动生成模板，课程实验没有专门把模型卡完整填写。

所以学生不需要被这份长 README 吓到。
真正重要的信息主要是：

base model 是谁
这是 LoRA 结果

七、这个目录在推理阶段是怎么被使用的

在 02_eval_and_infer.ipynb 里，核心代码是：

base_model = AutoModelForCausalLM.from_pretrained(base_model_name)
model = PeftModel.from_pretrained(base_model, adapter_dir)

这里的 adapter_dir 就是：

outputs/notebook_demo

也就是说：

先加载原始 base model
再加载这里的 adapter 配置和 adapter 权重
把二者组合起来，得到最终可推理模型

这正是为什么这个目录不能单独替代 base model 目录：

它只保存了“增量部分”

八、这个目录和 `models/tiny-gpt2` 的关系

这是学生最容易混淆的点。

`models/tiny-gpt2`

表示：

原始模型底座