Idea: Transformer 注意力头数与模型容量的非线性关系

概述

探索注意力头数与模型容量之间的非线性关系。研究是否存在一个最优的头数与参数比例。

详细描述

Transformer 架构中注意力头数的选择通常是经验性的。本项目旨在系统性地研究：

• 更多的头是否总是意味着更好的性能？
• 最优的头数与参数比例是多少？
• 头数增加带来的收益是否存在边际递减效应？

关联论文

• 1706.03762 (Attention is All You Need)
• 2008.11826 (Neural Architecture Search with Reinforcement Learning)

标签

architecture, theory, transformer, nlp

状态

active