Study 썸네일형 리스트형 Optimizer : RAdam - Rectified Adam pdf : https://arxiv.org/abs/1908.03265 About RAdam : https://github.com/LiyuanLucasLiu/RAdam 위의 사이트는 RAdam을 다운로드 할 수 있고, 추가 내용 설명이 있습니다. Adam 가중치 옵티마이저 Adam은 adaptive learning rate를 하는 특징을 가집니다. 이 adaptive learning rate를 식으로 나타내면 아래와 같습니다. 지금까지의 상대적인 업데이트 양에 따라 Step size를 조정하는 것입니다. Adam의 한계점 Bad local optima convergence problem - 학습 초기에 샘플이 부족하여 adaptive learning rate의 분산이 매우 커지고 이에 따라 최적이 아닌 l.. 더보기 Greedy Search argmax 설명 과거에 출력되었던 단어들을 기반으로 뽑는게 아니라, 모든 가능한 단어를 전수 조사해서 가장 확률을 극대화 시킬 수 있는 한 단어를 뽑는 방식이다. 하지만 단어 한 개씩을 서칭해 나가기 때문에 사실상 시퀀스 공간보다는 훨씬 작은 공간에서 적합한 단어를 찾아나가는 방식이고, 만약 우리가 1스텝에서라도 문법 상 실수를 하게 된다면 전체 문장의 번역 합격 여부에 돌이킬 수 없이 큰 실수가 된다는 점에서 추천하지 않는다. 더보기 자연어 언어 모델 강의 자료 참고 : https://www.youtube.com/watch?v=zia49ZyKiX0&list=PL9mhQYIlKEhcIxjmLgm9X5BUtW5jMLbZD&index=2 언어 모델 (Language Model, LM) 모델(Model)이란? 어떤 상황이나 물체 등 연구 대상 주제를 도면이나 사진 등 화상을 사용하거나 수식이나 악보와 같은 기호를 사용해서 표현한 것 모델의 종류 일기예보 모델, 데이터 모델, 비즈니스 모델, 물리 모델, 분자 모델 모델의 특징 자연 법칙을 컴퓨터로 모사함으로써 시뮬레이션이 가능 이전 state를 기반으로 미래의 state를 예측할 수 있음 - (e.g. 습도와 바람 세기 등으로 내일 날씨 예측) 즉, 미래의 state를 올바르게 예측하는 방식으로 모델 학습이 .. 더보기 자연어 처리 강의 영상 : https://www.youtube.com/watch?v=qlxrXX5uBoU&list=PL9mhQYIlKEhcIxjmLgm9X5BUtW5jMLbZD&index=1 1. 자연어란? 언어 : 명사) 생각, 느낌 따위를 나타내거나 전달하는 데에 쓰는 음성, 문자 따위의 수단. 또는 그 음성이나 문자 따위의 사회 관습적인 체계. 전달자 -> 수신자 에서 수신자가 사람 -> 컴퓨터 2. 다양한 자연어 처리 기술 자연어 처리란, '자연어를 컴퓨터가 해독하고 그 의미를 이해하는 기술' Symbolic approach 규칙/지식 기반 접근법 IF문 상황 속에 조건이 있는 것 100원 = 가격을 의미 100 M = UNIT을 의미 Statistical approach 확률/통계 기반 접근법 TF-IDF를.. 더보기 이전 1 2 다음
