NLP 자연어 처리, Natural Language Processing/Summary, 요약 썸네일형 리스트형 BART 학습 및 예측 다음은 Fairseq를 이용하여 학습을 하는 방법입니다. 먼저 저는 Fairseq의 2번째 방법을 이용합니다. 다음 코드를 이용합니다. # Download bart.large model wget https://dl.fbaipublicfiles.com/fairseq/models/bart.large.tar.gz tar -xzvf bart.large.tar.gz # Load the model in fairseq from fairseq.models.bart import BARTModel bart = BARTModel.from_pretrained('/path/to/bart.large', checkpoint_file='model.pt') bart.eval() # disable dropout (or leave in .. 더보기 BART - Transformer Encoder-Decoder Model (Sequence-to-Sequence) BART는 Facebook AI 에서 발표한 모델입니다. Encoder는 Bidirectional Encoder를 이용하고, Decoder는 Autoregressive Decoder를 이용합니다. 다음 사진은 바트모델입니다. Sequence-to-Sequence 방식을 이용합니다. Sequence-to-Sequence는 입력된 시퀀스로부터 다른 도멘의 시퀀스를 출력하는 다양한 분야에서 사용되는 모델입니다. 예를 들어 챗봇(Chatbot)과 기계 번역(Machine Translation)이 그러한 대표적인 예인데, 입력 시퀀스와 출력 시퀀스를 각각 질문과 대답으로 구성하면 챗봇으로 만들 수 있고, 입력 시퀀스와 출력 시퀀스를 각각 입력 문장과 번역 문장으로 만들면 번역기로 만들 수 있습니다. 그 외에도 다.. 더보기 이전 1 다음
