混合专家模型

混合专家模型（英语：mixture of experts，简称MoE），或译为多专家模型，是一种机器学习技术，通过门控（gating）模型将单一任务空间划分为多个子任务，再由多个专家网络（子模型）分别处理特定的子任务，最终得到整体的预测结果。混合专家模型与集成学习有相似之处，它们都应用多个子模型来处理问题。但它们的区别在于，混合专家模型中的每个专家都是针对不同的数据子空间进行训练的，以适应不同类型的输入数据。而集成学习一般而言则是使用多种模型对整个数据空间进行训练。

层级混合专家模型 (英语：hierarchical mixtures of experts）是包含多个层级的混合专家模型。与使用单一门控模型的普通混合专家模型相比，层级混合专家模型中的门控模型呈类似决策树的多层结构，以适应更为复杂与灵活的应用场景。