Choice your code
Programming
- Docker 명령어 # docker build (dockerfile, entrypoint) docker build -t name ./ # docker images check docker images # docker remove image docker rmi name # docker container check docker ps -a # docker관계 docker stop docker start docker restart docker rm 더보기
-
Fewshot Learning Training Approach
사전 지식을 사용하여 몇 가지 예에서 잘 일반화되는 매개변수를 선택하도록 학습 알고리즘을 제한. Multi Task Learning과 Meta Learning. Multi Task Learning : 모델이 여러 Task를 지원할 수 있는 것. (여러 Task를 동시에 최적화할 수 있는 학습) Meta Learning : 각 Task 마다 최적의 학습은 다르다라고 가정. ( 학습된 모델과 새로운 데이터 특성 사이의 상관성을 찾는 과정을 통해 학습) Transfer Learning과 Meta Learning. Transfer Learning : Pre-trained 모델을 기반으로, Fine Tuning 하는 것을 초점. Meta Learning : Transfer Learning 보다 빠른 최적의 알고리..
더보기
-
Fewshot Learning Similarity Approach
Few shot Similarity 많은 데이터만 있으면 모델은 입력에 해당하는 클래스를 분류할 수 있습니다. 하지만 얼굴 인식과 같이 사람의 경우 한 번만 그 사람의 얼굴을 보아도 대충 누구인지 알 수 있고, 기억할 수 있습니다. 이러한 문제에 대해 여러 사람에 대해 3장 씩만 가지고 있다면 모델은 학습하기 어려울 것 입니다. 이러한 부분에서 사람과 기계의 핵심 포인트 1. 사람은 학습이 빠르다. 2. 모델은 많은 양의 데이터가 필요하다. 얼굴 인식에서 사람과 인간이 다른 이유 : 사전 지식을 가지고 있기 때문에 (인간이 어떻게 생겼는지, 인종이 무엇인지, 옷을 입고 있는 것을 통해) 사전 지식을 제공한다면 문제를 해결할 수 있을까? -> 사전 지식에 달려있다. 사전 지식은 여러 형태가 될 수 있다. ..
더보기
-
Pattern Exploiting Train (PET)
Large Scale Language Model (Ex, GPT-3 : 1,750억 개의 매개변수) 의 경우 모델을 학습하기 힘들다. -> 이 매개변수의 0.1%만을 사용하는 앙상블 마스크 언어 모델 학습 방법. Pattern Exploiting Train(PET) 분류 문제에서.. basic fine tuning : MLM(Masked Language Modeling) 혹은 다른 학습 목표를 가지고 학습한 Pre-Training 이후 학습된 해당 위치에 할당되는 Vocab Softmax Layer는 사용하지 않고 새로운 Classification Task을 위한 Softmax Layer를 추가하여 Fine Tuning 진행. 따라서 많은 Sample이 필요함. PET (Pattern Exploiting..
더보기
- screen sudo apt-get install screen screen -S 세션명 : 세션 생성 screen -r 세션명 : 강제로 종료된거에 다시 붙이기 screen -RR Ctrl+a A : 현재 screen의 이름 설정 Ctrl+a c : screen에서 새창 생성 Ctrl+a k : 현재 screen 죽이기 Ctrl+a d : 현재 screen detach Ctrl+a " : 리스트 보기 == screen -list Ctrl+a a : 바로 전 창으로 Ctrl+a n : 다음 창으로 Ctrl+a p : 이전 창으로 Ctrl+a 0 : 0번째 창으로 Ctrl+a 1 : 1번째 창으로 Ctrl+a S 화면 수평 분할 Ctrl+a | 화면 수직 분할 Ctrl+a tab 화면 분할 이동 Ctrl+a Q 화면 분.. 더보기
- text read write # 쓰기 f = open("파일.txt", 'w') f.write("한줄입력") f.close() # 읽기 f = open("파일.txt", 'r') lines = f.readlines() f.close() 더보기
