下面是一套 Lecture 4 Exit Ticket,对应 lec4.md 的当前内容。你可以把它理解成“稀疏模型到底值不值得”的快速聊天版检查。重点不是记 MoE 的缩写,而是看你有没有把“容量、路由、通信、负载均衡”这条线串起来。

Exit Ticket(10 题,开卷)

1) MoE 想解决的,究竟是个什么烦恼

请用 2 句话回答:

2) router 在做什么小决定

请说明:

3) top-k 路由为什么这么常见

请用 2 到 3 句话回答:

4) 为什么 MoE 不只是“参数更多”

请回答:

5) load balancing 到底在防什么

请用 2 句话回答:

6) shared experts 为什么有用

请说明:

7) token dropping / capacity / overflow 这一组词在说什么

请回答:

8) 为什么 MoE 往往更像系统题

请用 2 到 3 句话回答:

9) 如果你要上手实现一个 MoE,第一步该看什么

请用 1 到 2 句话回答:

10) 用一句你自己的话描述 MoE 的核心交易

请尽量说得自然一点: