RAdam Optimizer 썸네일형 리스트형 Optimizer : RAdam - Rectified Adam pdf : https://arxiv.org/abs/1908.03265 About RAdam : https://github.com/LiyuanLucasLiu/RAdam 위의 사이트는 RAdam을 다운로드 할 수 있고, 추가 내용 설명이 있습니다. Adam 가중치 옵티마이저 Adam은 adaptive learning rate를 하는 특징을 가집니다. 이 adaptive learning rate를 식으로 나타내면 아래와 같습니다. 지금까지의 상대적인 업데이트 양에 따라 Step size를 조정하는 것입니다. Adam의 한계점 Bad local optima convergence problem - 학습 초기에 샘플이 부족하여 adaptive learning rate의 분산이 매우 커지고 이에 따라 최적이 아닌 l.. 더보기 이전 1 다음
