본문 바로가기

Programming

BERT Pre-trained Model BERT 사전 학습 모델 (Pre-trained model) pytorch-transformers를 설치합니다. !pip install pytorch-transformers 다음을 입력하여 BERT 사전 학습 모델을 설치하여줍니다. import torch from pytorch_transformers import BertTokenizer, BertForSequenceClassification, BertConfig device = torch.device("cuda") tokenizer = BertTokenizer.from_pretrained('bert-base-multilingual-cased') model = BertForSequenceClassification.from_pretrained('bert-b.. 더보기
Transfer Learning(전이 학습) 오늘날 딥러닝 분야에서 주요하게 연구되는 주제가 있습니다. 바로 Transfer Learning(전이 학습)입니다. Transfer Learning(전이 학습) 이란? (학습 데이터가 부족한 분야의 모델 구축을 위해 데이터가 풍부한 분야에서 훈련된 모델을 재사용하는 학습 기법) 이는 특정한 Task( Classification, Detection, Segmentation 등)에 대하여 학습된 딥러닝 모델을, 다른 Task로 Transfer(전이)하여 해당 모델으 사후적으로 학습하는 개념을 포괄합니다. 특정 분야에서 학습된 신경망의 일부 능력을 유사하거나 전혀 새로운 분야에서 사용되는 신경망의 학습에 이용하는 것을 의미합니다. 따라서 기존의 만들어진 모델을 사용하여 새로운 모델을 만들시 학습을 빠르게 하여.. 더보기
PyTorch-Basic (tensor 선언/연산, model parameters/epoch/loss) 0. torch version check import torch print("Output : ", torch.__version__) 1. torch.tensor 선언하기 (torch.zeros/torch.ones) torch.tensor Data type Homepage : https://pytorch.org/docs/stable/tensors.html torch.Tensor — PyTorch master documentation Shortcuts pytorch.org import torch x = torch.tensor([1,2,3,4,5,6]) print(x) x = torch.zeros((5,6)) print(x) x = torch.ones((5,6), dtype = torch.int8) print.. 더보기
BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension 바트 모델(Bart model) 논문 : https://arxiv.org/pdf/1910.13461.pdf github pytorch/fairseq/BART : https://github.com/pytorch/fairseq/tree/master/examples/bart github pytorch/fairseq : https://github.com/pytorch/fairseq pytorch/fairseq Facebook AI Research Sequence-to-Sequence Toolkit written in Python. - pytorch/fairseq github.com Facebook AI Research 0. 소개 먼저 Github에는 이렇게 나와있습니다. BART는 프리 트레이닝 목표로 노이즈 제거 기능을 갖춘 시퀀스-시퀀스 .. 더보기
우분투 Visual Studio Code Server설정하기 우분투 코드 서버 설정 0. build-essential 설치 build-essential 은 소스코드 빌드 시 필요한 기본적인 패키지들을 다운로드 합니다. 설치 후에는 gcc, g++, make, perl 등과 각종 라이브러리들이 설치됩니다. $ sudo apt-get install -y build-essential 1. Visual studio Code 설치 https://code.visualstudio.com/ Visual Studio Code - Code Editing. Redefined Visual Studio Code is a code editor redefined and optimized for building and debugging modern web and cloud applications. Visual St.. 더보기
우분투 htop 설치 / Ubuntu htop install 1. htop(Linux Process Monitoring) htop은 상호작용 시스템 모니터 프로세스 뷰어이자 프로세스 관리자입니다. 유닉스 프로그램 top의 대안으로 설계되었습니다. 컴퓨터에서 실행 중인, 자주 업데이트되는 프로세스 목록을 보여주고 보통 CPU의 사용률에 따라 나열됩니다. top와는 달리 htop은 리소스를 소비하는 프로세스 대신 실행 중인 프로세스의 전체 목록을 제공합니다. htop은 색을 사용하여 프로세서, 스왑, 메모리 상태에 관한 시각 정보를 제공합니다. 사용자들은 유닉스 top이 시스템 프로세스에 관한 충분한 정보를 제공하지 않을 경우 htop을 이용하곤 한다. htop은 시스템 모니터로서 매우 대중적으로, 상호 작용적으로 사용됩니다. 신호를 프로세스에 보내기 위해 top에 .. 더보기
윈도우 우분투 PUTTY로 SSH접속하기 1. ssh 설치 먼저 터미널을 실행하여 우분투에 ssh를 설치해줍니다. sudo apt-get install ssh 2. openssh-server 설치 다음으로 openssh-server를 설치해줍니다. sudo apt-get install openssh-server 3. ssh 재시작 sudo /etc/init.d/ssh restart # output : [ ok ] Restarting ssh (via systemctl): ssh.service. 4. ifconfig로 ip 주소 확인 ifconfig가 실행되지 않는다면 다음을 통해 net-tools를 설치를 해줍니다. sudo apt install net-tools 그리고 ifconfig를 치게되면 2문단으로 나오게 됩니다. 첫 문단에 나오는 in.. 더보기
BART 논문 번역 요약 우리는 시퀀스-시퀀스 모델의 사전 훈련을위한 노이즈 제거 자동 인코더 인 BART를 제시합니다. BART는 (1) 임의의 노이즈 기능으로 텍스트를 손상시키고 (2) 원본 텍스트를 재구성하는 모델을 학습함으로써 학습됩니다. 단순성에도 불구하고 BERT (양방향 인코더로 인해), GPT (왼쪽에서 오른쪽으로 디코더 사용) 및 기타 더 최근의 사전 훈련 체계를 일반화하는 것으로 볼 수있는 표준 Tranformer 기반 신경 기계 변환 아키텍처를 사용합니다. . 우리는 수많은 문장 접근 방식을 평가하여 원래 문장의 순서를 무작위로 섞고 소설 범위를 단일 마스크 토큰으로 대체하는 새로운 입력 체계를 사용하여 최상의 성능을 찾습니다. BART는 텍스트 생성에 맞게 미세 조정할 때 특히 효과적이지만 이해 작업에.. 더보기

티스토리툴바