BERT Pre-trained Model

BERT 사전 학습 모델 (Pre-trained model) 

 

• pytorch-transformers를 설치합니다.

!pip install pytorch-transformers

 

• 다음을 입력하여 BERT 사전 학습 모델을 설치하여줍니다.

import torch
from pytorch_transformers import BertTokenizer, BertForSequenceClassification, BertConfig

device = torch.device("cuda")
tokenizer = BertTokenizer.from_pretrained('bert-base-multilingual-cased')
model = BertForSequenceClassification.from_pretrained('bert-base-multilingual-cased')
model.to(device)

 

BERT는 다양한 model을 가지고 있습니다.  아래의 github 페이지에서 Quick tour를 보시고 원하는 모델을 사용할 수 있습니다.

https://github.com/huggingface/transformers

huggingface/transformers