본문 바로가기

Programming/(Python)(Ubuntu)

PyTorch-Basic (tensor 선언/연산, model parameters/epoch/loss) 0. torch version check import torch print("Output : ", torch.__version__) 1. torch.tensor 선언하기 (torch.zeros/torch.ones) torch.tensor Data type Homepage : https://pytorch.org/docs/stable/tensors.html torch.Tensor — PyTorch master documentation Shortcuts pytorch.org import torch x = torch.tensor([1,2,3,4,5,6]) print(x) x = torch.zeros((5,6)) print(x) x = torch.ones((5,6), dtype = torch.int8) print.. 더보기
BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension 바트 모델(Bart model) 논문 : https://arxiv.org/pdf/1910.13461.pdf github pytorch/fairseq/BART : https://github.com/pytorch/fairseq/tree/master/examples/bart github pytorch/fairseq : https://github.com/pytorch/fairseq pytorch/fairseq Facebook AI Research Sequence-to-Sequence Toolkit written in Python. - pytorch/fairseq github.com Facebook AI Research 0. 소개 먼저 Github에는 이렇게 나와있습니다. BART는 프리 트레이닝 목표로 노이즈 제거 기능을 갖춘 시퀀스-시퀀스 .. 더보기
우분투 Visual Studio Code Server설정하기 우분투 코드 서버 설정 0. build-essential 설치 build-essential 은 소스코드 빌드 시 필요한 기본적인 패키지들을 다운로드 합니다. 설치 후에는 gcc, g++, make, perl 등과 각종 라이브러리들이 설치됩니다. $ sudo apt-get install -y build-essential 1. Visual studio Code 설치 https://code.visualstudio.com/ Visual Studio Code - Code Editing. Redefined Visual Studio Code is a code editor redefined and optimized for building and debugging modern web and cloud applications. Visual St.. 더보기
우분투 htop 설치 / Ubuntu htop install 1. htop(Linux Process Monitoring) htop은 상호작용 시스템 모니터 프로세스 뷰어이자 프로세스 관리자입니다. 유닉스 프로그램 top의 대안으로 설계되었습니다. 컴퓨터에서 실행 중인, 자주 업데이트되는 프로세스 목록을 보여주고 보통 CPU의 사용률에 따라 나열됩니다. top와는 달리 htop은 리소스를 소비하는 프로세스 대신 실행 중인 프로세스의 전체 목록을 제공합니다. htop은 색을 사용하여 프로세서, 스왑, 메모리 상태에 관한 시각 정보를 제공합니다. 사용자들은 유닉스 top이 시스템 프로세스에 관한 충분한 정보를 제공하지 않을 경우 htop을 이용하곤 한다. htop은 시스템 모니터로서 매우 대중적으로, 상호 작용적으로 사용됩니다. 신호를 프로세스에 보내기 위해 top에 .. 더보기
윈도우 우분투 PUTTY로 SSH접속하기 1. ssh 설치 먼저 터미널을 실행하여 우분투에 ssh를 설치해줍니다. sudo apt-get install ssh 2. openssh-server 설치 다음으로 openssh-server를 설치해줍니다. sudo apt-get install openssh-server 3. ssh 재시작 sudo /etc/init.d/ssh restart # output : [ ok ] Restarting ssh (via systemctl): ssh.service. 4. ifconfig로 ip 주소 확인 ifconfig가 실행되지 않는다면 다음을 통해 net-tools를 설치를 해줍니다. sudo apt install net-tools 그리고 ifconfig를 치게되면 2문단으로 나오게 됩니다. 첫 문단에 나오는 in.. 더보기
BART 논문 번역 요약 우리는 시퀀스-시퀀스 모델의 사전 훈련을위한 노이즈 제거 자동 인코더 인 BART를 제시합니다. BART는 (1) 임의의 노이즈 기능으로 텍스트를 손상시키고 (2) 원본 텍스트를 재구성하는 모델을 학습함으로써 학습됩니다. 단순성에도 불구하고 BERT (양방향 인코더로 인해), GPT (왼쪽에서 오른쪽으로 디코더 사용) 및 기타 더 최근의 사전 훈련 체계를 일반화하는 것으로 볼 수있는 표준 Tranformer 기반 신경 기계 변환 아키텍처를 사용합니다. . 우리는 수많은 문장 접근 방식을 평가하여 원래 문장의 순서를 무작위로 섞고 소설 범위를 단일 마스크 토큰으로 대체하는 새로운 입력 체계를 사용하여 최상의 성능을 찾습니다. BART는 텍스트 생성에 맞게 미세 조정할 때 특히 효과적이지만 이해 작업에.. 더보기
GPT-2 BERT 이용 문장 생성 모음 : https://github.com/teacherpeterpan/Question-Generation-Paper-List 출처 : https://minimaxir.com/2019/09/howto-gpt2/ 동영상 : https://www.youtube.com/watch?v=ldxclhDwVw4 논문 : https://arxiv.org/pdf/1911.02365.pdf 등등 : http://jalammar.github.io/illustrated-gpt2/ 등등 : https://github.com/minimaxir/gpt-2-simple 등등 : https://openai.com/blog/gpt-2-1-5b-release/ 등등 : https://medium.com/analytics-vidhya/un.. 더보기
Self-Attention Architectures for answer-Agnostic Neural Question /BERT Question Generator 논문 정리 BERT-QG, BERT Question generator BERT-SQG, BERT-Sequence Question generation BERT-HISQG, BERT-Highlight Sequential Question Generation 참고 : https://github.com/teacherpeterpan/Question-Generation-Paper-List 논문 : Self-Attention Architectures for Answer-Agnostic Neural Question 1. Introduction MRC(Machine Reading Compension) 커뮤니티는 자연 문장에 포함된 의미를 기계가 올바르게 나타낼 수 있도록 하는 모델과 알고리즘 개발에 초점을 맞추고, 질문에 대한 답을.. 더보기

티스토리툴바