본문 바로가기

분류 전체보기

Sentence piece 를 이용한 문장 분류기 만들기 다음 내용과 같이 분류하려는 Text 및 Label 을 가지고 계신다면 따라해보십시오. 개요 DailyDialog 데이터 세트가 있습니다. 데이터는 대화 텍스트입니다. DailyDialog_act : 각 DailyDialog 의 각 행에 매치되는 대화 상자 동작 번호가 존재합니다. { 1 : 알림, 2 : 질문, 3: 지시, 4 : 공통 } DailyDialog_emotion : 각 DailyDialog 의 각 행에 매치되는 대화 상자 감정 번호가 존재합니다. { 0 : 감정 없음, 1 : 분노, 2 : 혐오, 3 : 두려움, 4 : 행복, 5 : 슬픔, 6 : 놀라움 } DailyDialog_text 를 Train과 Test로 나누고 전처리 합니다 전처리 후 Tokenize 후 ... 1. Data s.. 더보기
구글: SentencePiece 사용법 Google: SentencePiece Tutorial Python 3.6을 기반으로한 Conda env- 에서 작성하였습니다. 패키지 설치 또한 Jupyter Lab 에서 진행하였습니다. 1. Sentence Piece 패키치 설치 # Conda 환경이여서 conda install !conda install -c powerai sentencepiece -y # python 환경이면 pip install !pip install sentencepiece -y 2. vocab 모델 구현 Ex 2) 모델 구현 방법 2 실험적으로 중국어, 일본어 같이 자소단위로 이루어진 언어(rich character set)에서는 0.9995 다른언어(small character set)에 대해서 1로 설정 templates= '--input={} \ --pad_id={} \ -.. 더보기
우분투 비주얼 스튜디오 설치 Ubuntu Visual Studio 설치 0. build-essential 설치 build-essential 은 소스코드 빌드 시 필요한 기본적인 패키지들을 다운로드 합니다. 설치 후에는 gcc, g++, make, perl 등과 각종 라이브러리들이 설치됩니다. $ sudo apt-get install -y build-essential 1. Visual studio Code 설치 https://code.visualstudio.com/ Visual Studio Code - Code Editing. Redefined Visual Studio Code is a code editor redefined and optimized for building and debugging modern web and cloud applications. Visual St.. 더보기
파이썬 편집기 패키지 관리 프로그램 종류 Python Editor&Package Management Program ------ 목차 ------ 1. Python 1.1 주요 특징 1.2 해석 프로그램 종류 1.3 역사 1.4 기능과 철학 2. 편집기 2.1 Jupyter 2.2 Visual Studio Code 2.3 Spyder 2.4 PyCharm 3. 패키지 관리 프로그램 3.1 Anaconda 3.2 Docker 1. Python https://www.python.org/ Welcome to Python.org The official home of the Python Programming Language www.python.org 1991년 프로그래머인 귀도 반 로섬이 발표한 고급 프로그래밍 언어로, 플랫 폼에 독립적이며 인터프리터식, 객체지향적, 동적 타이핑 대화형 언어입니다. 파이썬은 초보자부터 전문가까.. 더보기
우분투 18.04 주피터 노트북/랩 실행하기 및 외부 접속 Ubuntu 18.04 Jupyter Using Notebook/Lab and outside enter https://en.wikipedia.org/wiki/Project_Jupyter Project Jupyter - Wikipedia From Wikipedia, the free encyclopedia Jump to navigation Jump to search Nonprofit organization developing open-source software Project JupyterAbbreviationJupyterFormation2015Typenonprofit organizationPurposeTo support interactive data science and scientifi en.wikipedia.org Project Jupyter 는 "수십 개의 프로그래밍 언어에서 대화 형 커퓨팅을 위한 공.. 더보기
우분투 18.04 아나콘다 설치 (Ubuntu 18.04 Anaconda Install) 우분투 18.04 가상환경 설정 (Ubuntu 18.04 virtual environments) 아나콘다(Anaconda)는 패키지 관리와 디플로이를 단순케 할 목적으로 과학 계산(데이터 과학, 기계 학습 애플리케이션, 대규모 데이터 처리, 예측 분석 등)을 위해 파이썬과 R프로그래밍 언어의 자유-오픈 소스 배포판입니다. 아나콘다는 https://www.anaconda.com/distribution/ 에서 다운 받을 수 있습니다. Anaconda Python/R Distribution - Free Download Anaconda Distribution is the world's most popular Python data science platform. Download the free version to access over 1500 data science packages and manage lib.. 더보기
우분투 18.04 소프트웨어 오류 ( Ubuntu 18.04 Software database is broken ) 각종 설치 파일을 설치하다 오류로 인하여 설치 못한 파일들이 있습니다. 그런 경우 이렇게 오류가 뜨게 됩니다. 또한 다른 apk를 이용한 설치에도 적용이 되지 않습니다. 오늘은 이 오류를 수정하는 방법에 관해 다루어 보려고 합니다. 방법 1. 터미널 에 sudo apt-get clean 입력 터미널 에 sudo apt-get autoclean 입력 터미널 에 sudo apt-get autoremove 입력 다음 방법을 적용하였어도 지워지지 않는 파일이 존재할 수도 있습니다. 방법 2. 터미널 에 sudo apt -- fix-broken install 입력하면 이전 설치오류 파일들이 설치됩니다. 그렇다면 다시 apk 를 사용할 수 있고, 다른 Language Support 등 과 같은 Application.. 더보기
우분투 그래픽 카드 드라이버 및 CUDA 10.1 설치 (Ubuntu graphic card driver and CUDA 10.1 Install) 본 내용은 우분투 18.04 기준입니다. 우분투 18.04 에서 CUDA 10.1 을 설치하기 앞서 자신의 그래픽카드에 맞는 드라이버를 확인하는 것이 중요합니다. 과정 1. PC 그래픽 카드 확인 터미널 에 lshw -C display 를 입력하면 아래와 같이 해당 PC의 그래픽 카드가 어떤 것인지 확인할 수 있습니다. 과정 2. 설치 가능한 driver 확인 터미널에 ubuntu-drivers devices 를 입력 하면 다음과 같이 driver 의 목록이 뜨면서 추천 recommended 라고 뜹니다. 과정 3. TensorFlow 홈페이지에서 Install CUDA with apt 따라하기 TensorFlow 홈페이지 링크 : https://www.tensorflow.org/install/gpu?h.. 더보기