Programming/(Python)(Ubuntu) 썸네일형 리스트형 임의의 데이터에서 이진 분류 하기 필요한 모듈 : Numpy, OrderedDict, Matplotlib 추가 설명 OrderedDict 란? OrderedDict 는 기본 딕셔너리(Dictionary)와 거의 비슷하지만, 입력된 아이템들(items)의 순서를 기억하는 Dictionary 클래스입니다. collections.OrderedDict의 자세한 내용은 docs.python.org 에서 확인할 수 있습니다. 간단하게 소개하자면 일반적인 dict 메소드를 지원하는 dict 서브 클래스의 인스턴트를 리턴합니다. OrderedDict 는 키가 먼저 삽입 된 순서를 기억 사전인가됩니다. 새로운 정렬된 사전은 항목이 삭제될 때 정렬 순서를 유지합니다. 그러나 새 키가 추가되면 키가 끝에 추가되고 정렬이 유지되지 않습니다. 키가 마지막으로 .. 더보기 NLP Tools / 자연어처리 툴 소개 출처 : https://github.com/datanada/Awesome-Korean-NLP#11-morpheme%ED%98%95%ED%83%9C%EC%86%8C-%EB%B6%84%EC%84%9D%EA%B8%B0---part-of-speechpos%ED%92%88%EC%82%AC-tagger datanada/Awesome-Korean-NLP A curated list of resources for NLP (Natural Language Processing) for Korean - datanada/Awesome-Korean-NLP github.com 1. Tools (Korean-specific tools are listed ahead of language-agnostic tools.) 1.1. Morph.. 더보기 BERT 모델을 이용해 SQuAD 1.1v 학습하기 트랜스포머의 양방향 인코더 표현 (BERT)은 Google에서 개발한 NLP(Natural Language Processing, 자연어 처리) 사전 교육 기술입니다. BERT는 2018년 Jacob Devlin과 Google의 동료가 작성하고 게시했습니다. 성능은 BERT가 출시되었을 때, 여러 NLU(Natural Language Understanding, 자연 언어 이해) 과제에서 최첨단 성능을 달성했습니다. GLUE (일반 언어 이해 평가) 작업 세트 (9개 작업으로 구성) SQuAD (Stanford Question Answering Dataset) v1.1 및 v2.0. SWAG (대적 세대의 상황) BERT 논문 : arxiv.org/abs/1810.04805 SQuAD 데이터 다운로드 The.. 더보기 GLUE GLUE GLUE Benchmark Hompage : https://gluebenchmark.com/ GLUE Benchmark The General Language Understanding Evaluation (GLUE) benchmark is a collection of resources for training, evaluating, and analyzing natural language understanding systems gluebenchmark.com -- 공식 홈페이지 솧개 -- 일반언어이해평가(GLUE) 벤치마크는 자연어이해 시스템을 교육, 평가, 분석하기 위한 자원의 집합이다. GULT는 다음으로 구성된다. 기존 데이터셋을 기반으로 구축되고 다양한 데이터셋 크기, 텍스트 장르 및 난이도를.. 더보기 우분투 Read-only 문제 해결 우분투를 사용하다가 파일이 Read-only 일 때, 컴퓨터를 끄고 켜면 아래와 같은 화면이 나타난다. 이때 1번째 줄 Ubuntu를 선택하여 실행하면 검은색 바탕에 다음과 같은 화면이 나타난다. 이때 fsck /dev/sda1를 쳐주면 복구할 수 있다. 더보기 Python Decorator(데코레이터) @의 의미 출처 : https://bluese05.tistory.com/30 python으로 작성된 코드들을 보다 보면 @로 시작하는 구문들을 볼 수 있습니다. @decorator_ def function(): print("what is decorator?") Decorator를 한마디로 얘기하자면, 대상 함수를 Wrapping 하고, Wrapping 된 함수의 앞뒤에 추가적으로 꾸며질 구문들을 정의해서 손쉽게 재사용 가능하게 해주는 것입니다. Decorator는 감싸고 있는 함수를 호출하기 전이나 후에 추가로 코드를 실행하는 기능을 갖췄습니다. 이 기능으로 입력 인수와 반환 값을 접근하거나 수정할 수 있습니다. 이 기능은 시맨틱 강조, 디버깅, 함수 등록을 비롯해 여러 상황에 유용합니다. Decorator는 어떤.. 더보기 BERT Pre-trained Model BERT 사전 학습 모델 (Pre-trained model) pytorch-transformers를 설치합니다. !pip install pytorch-transformers 다음을 입력하여 BERT 사전 학습 모델을 설치하여줍니다. import torch from pytorch_transformers import BertTokenizer, BertForSequenceClassification, BertConfig device = torch.device("cuda") tokenizer = BertTokenizer.from_pretrained('bert-base-multilingual-cased') model = BertForSequenceClassification.from_pretrained('bert-b.. 더보기 Transfer Learning(전이 학습) 오늘날 딥러닝 분야에서 주요하게 연구되는 주제가 있습니다. 바로 Transfer Learning(전이 학습)입니다. Transfer Learning(전이 학습) 이란? (학습 데이터가 부족한 분야의 모델 구축을 위해 데이터가 풍부한 분야에서 훈련된 모델을 재사용하는 학습 기법) 이는 특정한 Task( Classification, Detection, Segmentation 등)에 대하여 학습된 딥러닝 모델을, 다른 Task로 Transfer(전이)하여 해당 모델으 사후적으로 학습하는 개념을 포괄합니다. 특정 분야에서 학습된 신경망의 일부 능력을 유사하거나 전혀 새로운 분야에서 사용되는 신경망의 학습에 이용하는 것을 의미합니다. 따라서 기존의 만들어진 모델을 사용하여 새로운 모델을 만들시 학습을 빠르게 하여.. 더보기 이전 1 2 3 4 5 6 다음
