相关考题
-
单项选择题
大模型训练时，哪种并行策略可以减少梯度通信的开销？（）
A.数据并行
B.模型并行
C.流水线并行
D.混合并行 -
单项选择题
在大模型中，哪种技术通常用于减少模型大小和计算复杂度？（）
A.知识蒸馏
B.模型剪枝
C.模型量化
D.稀疏注意力机制 -
单项选择题
大模型训练中，哪种优化策略可以有效减少模型参数的更新方差？（）
A.学习率衰减
B.动量
C.二阶梯度方法
D.模型剪枝
