Fewshot Learning Training Approach

사전 지식을 사용하여 몇 가지 예에서 잘 일반화되는 매개변수를 선택하도록 학습 알고리즘을 제한.

 

Multi Task Learning과 Meta Learning.

 

Multi Task Learning : 모델이 여러 Task를 지원할 수 있는 것. (여러 Task를 동시에 최적화할 수 있는 학습)

Meta Learning : 각 Task 마다 최적의 학습은 다르다라고 가정. ( 학습된 모델과 새로운 데이터 특성 사이의 상관성을 찾는 과정을 통해 학습)

 

Transfer Learning과 Meta Learning.

 

Transfer Learning : Pre-trained 모델을 기반으로, Fine Tuning 하는 것을 초점.

Meta Learning : Transfer Learning 보다 빠른 최적의 알고리즘을 찾는 것에 초점.

 

1. Model Agnostic Meta Learning (MAML)

Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks

Model Agnostic : 모델과 상관없이 대부분의 모델(Gradient Descent를 사용하는 모델)에 사용될 수 있다는 뜻. 

Fast Adaptation : 새로운 Task를 빠르게(적은 Update)  할 수 있다.

 

위의 사진과 같이 θ가 각 Task 1, 2, 3에 대해 최적은 아니지만, 이후 Task 1, 2, 3을 학습할 때 3가지 Task를 모두 빠르게 Adaptation 할 수 있는 Fine Tuning이 가능하다. (Broadly Suitable for Many Tasks)

 

모델이 전체 몇 가지 Task Set 중 Task i 에 있는 Data Point를 다른 Task j,k..n Batch와 함께 학습한다. Regression인 경우 MSE를 Classification의 경우 Cross Entropy를 Loss로 사용하여 학습 진행. θ가 새로운 θ로 업데이트 되고, 이것을 몇 번의 Gradient Descent만 필요하도록 조정. 이후 새로운 θ를 기반으로 여러 Task에 대한 가장 일반적인 파라미터인 θ를 조정한다. 특정 Task들을 한 두번의 Gradient Desent로만 최적화 하려면 Meta Optimization Across Tasks 를 진행해야하고, 이것은 새로운 θ를 통해 한다. 이 과정을 반복하며 Few Shot Learning이 지속적으로 이루어질 수 있게 만든다.