본문 바로가기

분류 전체보기

우분투 htop 설치 / Ubuntu htop install 1. htop(Linux Process Monitoring) htop은 상호작용 시스템 모니터 프로세스 뷰어이자 프로세스 관리자입니다. 유닉스 프로그램 top의 대안으로 설계되었습니다. 컴퓨터에서 실행 중인, 자주 업데이트되는 프로세스 목록을 보여주고 보통 CPU의 사용률에 따라 나열됩니다. top와는 달리 htop은 리소스를 소비하는 프로세스 대신 실행 중인 프로세스의 전체 목록을 제공합니다. htop은 색을 사용하여 프로세서, 스왑, 메모리 상태에 관한 시각 정보를 제공합니다. 사용자들은 유닉스 top이 시스템 프로세스에 관한 충분한 정보를 제공하지 않을 경우 htop을 이용하곤 한다. htop은 시스템 모니터로서 매우 대중적으로, 상호 작용적으로 사용됩니다. 신호를 프로세스에 보내기 위해 top에 .. 더보기
Optimizer : RAdam - Rectified Adam pdf : https://arxiv.org/abs/1908.03265 About RAdam : https://github.com/LiyuanLucasLiu/RAdam 위의 사이트는 RAdam을 다운로드 할 수 있고, 추가 내용 설명이 있습니다. Adam 가중치 옵티마이저 Adam은 adaptive learning rate를 하는 특징을 가집니다. 이 adaptive learning rate를 식으로 나타내면 아래와 같습니다. 지금까지의 상대적인 업데이트 양에 따라 Step size를 조정하는 것입니다. Adam의 한계점 Bad local optima convergence problem - 학습 초기에 샘플이 부족하여 adaptive learning rate의 분산이 매우 커지고 이에 따라 최적이 아닌 l.. 더보기
Greedy Search argmax 설명 과거에 출력되었던 단어들을 기반으로 뽑는게 아니라, 모든 가능한 단어를 전수 조사해서 가장 확률을 극대화 시킬 수 있는 한 단어를 뽑는 방식이다. 하지만 단어 한 개씩을 서칭해 나가기 때문에 사실상 시퀀스 공간보다는 훨씬 작은 공간에서 적합한 단어를 찾아나가는 방식이고, 만약 우리가 1스텝에서라도 문법 상 실수를 하게 된다면 전체 문장의 번역 합격 여부에 돌이킬 수 없이 큰 실수가 된다는 점에서 추천하지 않는다. 더보기
윈도우 우분투 PUTTY로 SSH접속하기 1. ssh 설치 먼저 터미널을 실행하여 우분투에 ssh를 설치해줍니다. sudo apt-get install ssh 2. openssh-server 설치 다음으로 openssh-server를 설치해줍니다. sudo apt-get install openssh-server 3. ssh 재시작 sudo /etc/init.d/ssh restart # output : [ ok ] Restarting ssh (via systemctl): ssh.service. 4. ifconfig로 ip 주소 확인 ifconfig가 실행되지 않는다면 다음을 통해 net-tools를 설치를 해줍니다. sudo apt install net-tools 그리고 ifconfig를 치게되면 2문단으로 나오게 됩니다. 첫 문단에 나오는 in.. 더보기
BART 논문 번역 요약 우리는 시퀀스-시퀀스 모델의 사전 훈련을위한 노이즈 제거 자동 인코더 인 BART를 제시합니다. BART는 (1) 임의의 노이즈 기능으로 텍스트를 손상시키고 (2) 원본 텍스트를 재구성하는 모델을 학습함으로써 학습됩니다. 단순성에도 불구하고 BERT (양방향 인코더로 인해), GPT (왼쪽에서 오른쪽으로 디코더 사용) 및 기타 더 최근의 사전 훈련 체계를 일반화하는 것으로 볼 수있는 표준 Tranformer 기반 신경 기계 변환 아키텍처를 사용합니다. . 우리는 수많은 문장 접근 방식을 평가하여 원래 문장의 순서를 무작위로 섞고 소설 범위를 단일 마스크 토큰으로 대체하는 새로운 입력 체계를 사용하여 최상의 성능을 찾습니다. BART는 텍스트 생성에 맞게 미세 조정할 때 특히 효과적이지만 이해 작업에.. 더보기
GPT-2 BERT 이용 문장 생성 모음 : https://github.com/teacherpeterpan/Question-Generation-Paper-List 출처 : https://minimaxir.com/2019/09/howto-gpt2/ 동영상 : https://www.youtube.com/watch?v=ldxclhDwVw4 논문 : https://arxiv.org/pdf/1911.02365.pdf 등등 : http://jalammar.github.io/illustrated-gpt2/ 등등 : https://github.com/minimaxir/gpt-2-simple 등등 : https://openai.com/blog/gpt-2-1-5b-release/ 등등 : https://medium.com/analytics-vidhya/un.. 더보기
Self-Attention Architectures for answer-Agnostic Neural Question /BERT Question Generator 논문 정리 BERT-QG, BERT Question generator BERT-SQG, BERT-Sequence Question generation BERT-HISQG, BERT-Highlight Sequential Question Generation 참고 : https://github.com/teacherpeterpan/Question-Generation-Paper-List 논문 : Self-Attention Architectures for Answer-Agnostic Neural Question 1. Introduction MRC(Machine Reading Compension) 커뮤니티는 자연 문장에 포함된 의미를 기계가 올바르게 나타낼 수 있도록 하는 모델과 알고리즘 개발에 초점을 맞추고, 질문에 대한 답을.. 더보기
자연어 언어 모델 강의 자료 참고 : https://www.youtube.com/watch?v=zia49ZyKiX0&list=PL9mhQYIlKEhcIxjmLgm9X5BUtW5jMLbZD&index=2 언어 모델 (Language Model, LM) 모델(Model)이란? 어떤 상황이나 물체 등 연구 대상 주제를 도면이나 사진 등 화상을 사용하거나 수식이나 악보와 같은 기호를 사용해서 표현한 것 모델의 종류 일기예보 모델, 데이터 모델, 비즈니스 모델, 물리 모델, 분자 모델 모델의 특징 자연 법칙을 컴퓨터로 모사함으로써 시뮬레이션이 가능 이전 state를 기반으로 미래의 state를 예측할 수 있음 - (e.g. 습도와 바람 세기 등으로 내일 날씨 예측) 즉, 미래의 state를 올바르게 예측하는 방식으로 모델 학습이 .. 더보기

티스토리툴바