[60] Efficient Sparsely Activated Transformers

paper

TL;DR

• task : lanugage modeling
• problem : transformer가 너무 크고 무겁다. inference latency 목표에 맞게 알아서 네트워크가 구성되면 좋겠다.
• idea : NAS 써서 latency가 주어졌을 때, Transfomer-XL의 FFN, MHA, MoE FFN 레이어를 설계.
• architecture : Transformer-XL, NAS가 block을 선택할 때 GumbelSoftmax 사용 + reinforcement 기반의 search.
• objective : cross-entropy loss + latent loss(=각 super block이 선택될 확률과 그 super block의 latency), latency loss는 목표 latency보다 높아질 경우에만 부가됨.
• baseline : Transformer-XL, PAR Transformer, Sandwich Transformer
• data : wt103, enwiki8
• result : 비슷한 성능에 2배 빠른 latency. 같은 크기의 MoE 적용안한(iso-parametric setting) 모델과 비교했을 때 PPL 대비 높은 normalized latency.
• contribution : NAS for inference latency
• limitation or 이해 안되는 부분 : MHA는 다들 MoE로 건드릴 생각을 안하네..왜징 -> runtime overhead introduced by dynamic behavior라고 나와있는데 뭔말인지 모르겠음.

Details

• 트랜스포머의 각 레이어 별 latency

• MSA / FFN 각 하이퍼파라미터 변경할 때의 latency 비교

• NAS가 서치한 모델 아키텍쳐 구성들

MHA레이어의 개수와 차원을 줄이고, MoE나 FFN을 추가하는 양상.

• MoE

• search space for NAS