티스토리

choice

검색하기

블로그 홈

choice

choice-life.tistory.com/m

$choice 님의 블로그입니다.

구독자: 6

방명록 방문하기

주요 글 목록

Docker 명령어 # docker build (dockerfile, entrypoint) docker build -t name ./ # docker images check docker images # docker remove image docker rmi name # docker container check docker ps -a # docker관계 docker stop docker start docker restart docker rm 공감수 0 댓글수 0 2022. 5. 13.
Fewshot Learning Training Approach 사전 지식을 사용하여 몇 가지 예에서 잘 일반화되는 매개변수를 선택하도록 학습 알고리즘을 제한. Multi Task Learning과 Meta Learning. Multi Task Learning : 모델이 여러 Task를 지원할 수 있는 것. (여러 Task를 동시에 최적화할 수 있는 학습) Meta Learning : 각 Task 마다 최적의 학습은 다르다라고 가정. ( 학습된 모델과 새로운 데이터 특성 사이의 상관성을 찾는 과정을 통해 학습) Transfer Learning과 Meta Learning. Transfer Learning : Pre-trained 모델을 기반으로, Fine Tuning 하는 것을 초점. Meta Learning : Transfer Learning 보다 빠른 최적의 알고리.. 공감수 0 댓글수 0 2022. 2. 16.
Fewshot Learning Similarity Approach Few shot Similarity 많은 데이터만 있으면 모델은 입력에 해당하는 클래스를 분류할 수 있습니다. 하지만 얼굴 인식과 같이 사람의 경우 한 번만 그 사람의 얼굴을 보아도 대충 누구인지 알 수 있고, 기억할 수 있습니다. 이러한 문제에 대해 여러 사람에 대해 3장 씩만 가지고 있다면 모델은 학습하기 어려울 것 입니다. 이러한 부분에서 사람과 기계의 핵심 포인트 1. 사람은 학습이 빠르다. 2. 모델은 많은 양의 데이터가 필요하다. 얼굴 인식에서 사람과 인간이 다른 이유 : 사전 지식을 가지고 있기 때문에 (인간이 어떻게 생겼는지, 인종이 무엇인지, 옷을 입고 있는 것을 통해) 사전 지식을 제공한다면 문제를 해결할 수 있을까? -> 사전 지식에 달려있다. 사전 지식은 여러 형태가 될 수 있다. .. 공감수 0 댓글수 0 2022. 2. 15.
Pattern Exploiting Train (PET) Large Scale Language Model (Ex, GPT-3 : 1,750억 개의 매개변수) 의 경우 모델을 학습하기 힘들다. -> 이 매개변수의 0.1%만을 사용하는 앙상블 마스크 언어 모델 학습 방법. Pattern Exploiting Train(PET) 분류 문제에서.. basic fine tuning : MLM(Masked Language Modeling) 혹은 다른 학습 목표를 가지고 학습한 Pre-Training 이후 학습된 해당 위치에 할당되는 Vocab Softmax Layer는 사용하지 않고 새로운 Classification Task을 위한 Softmax Layer를 추가하여 Fine Tuning 진행. 따라서 많은 Sample이 필요함. PET (Pattern Exploiting.. 공감수 0 댓글수 0 2022. 2. 12.
screen sudo apt-get install screen screen -S 세션명 : 세션 생성 screen -r 세션명 : 강제로 종료된거에 다시 붙이기 screen -RR Ctrl+a A : 현재 screen의 이름 설정 Ctrl+a c : screen에서 새창 생성 Ctrl+a k : 현재 screen 죽이기 Ctrl+a d : 현재 screen detach Ctrl+a " : 리스트 보기 == screen -list Ctrl+a a : 바로 전 창으로 Ctrl+a n : 다음 창으로 Ctrl+a p : 이전 창으로 Ctrl+a 0 : 0번째 창으로 Ctrl+a 1 : 1번째 창으로 Ctrl+a S 화면 수평 분할 Ctrl+a | 화면 수직 분할 Ctrl+a tab 화면 분할 이동 Ctrl+a Q 화면 분.. 공감수 0 댓글수 0 2021. 10. 12.
text read write # 쓰기 f = open("파일.txt", 'w') f.write("한줄입력") f.close() # 읽기 f = open("파일.txt", 'r') lines = f.readlines() f.close() 공감수 0 댓글수 0 2021. 9. 17.
csv, tsv 파일 열기 import pandas as pd data_path = "data.csv" data = pd.read_csv(data_path, delimiter=',', encoding='utf-8') data_path = "data.tsv" data = pd.read_csv(data_path, delimiter='\t', encoding='utf-8') 공감수 0 댓글수 0 2021. 9. 8.
git 사용 git --version git config --list git config --global user.name "name" git config --global user.email "email@gmail.com" # repository clone git clone http://github.com/[내 이름]/[저장소 명].git # 업로드 가능한 상태 확인 git status git init # 업로드 가능하게 만들기 git add . # commit git commit -m 커밋 로그 # 최종 업로드 git push 원격저장소주소 현재브랜치 #$ git status #$ git add 원하는폴더이름 #$ git commit -m "원하는내용" #$ git remote -v #$ git push origi.. 공감수 0 댓글수 0 2021. 8. 10.
t-SNE t-sne : T-distributed Stocastic Neighbor Embedding 기능 : 1. 고차원 공간에서 점 세트를 가져와 저차원 공간(일반적으로 2D)에서 해당 점을 표현하는 것을 찾는 것. 2. Perplexity, 데이터의 지역적 측면과 전역적 측면 사이에서 균형을 맞추는 방법을 알려줌. 어떤 의미에서 각 점이 가지고 있는 가까운 이웃의 수에 대한 추측. (복잡도의 변화에 상당히 강하며 일반적으로 5~50 사이의 값을 사용함) ! 똑같은 값으로 설정하여 t-SNE를 실행하여도 추가 하이퍼파라미터가 있어 항상 유사한 출력을 생성하지는 않는다. 하이퍼 파라미터 Perplexity에 따른 결과입니다. 알고리즘이 제대로 작동하려면 Perplexity가 실제 포인트 수보다 작아야합니다. 안정.. 공감수 0 댓글수 0 2021. 7. 21.
GCP, Cloud TPU 사용법 Google Cloud SDK 설치 # Add the Cloud SDK distribution URI as a package source echo "deb [signed-by=/usr/share/keyrings/cloud.google.gpg] http://packages.cloud.google.com/apt cloud-sdk main" | sudo tee -a /etc/apt/sources.list.d/google-cloud-sdk.list # Import the Google Cloud public key curl https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo apt-key --keyring /usr/share/keyrings/cloud.go.. 공감수 0 댓글수 0 2021. 7. 6.
json 읽고/쓰기 입력 방식 : Dict ## 입력 방식 import json json_data = {} json_data["1"] = "첫번째" json_data["2"] = "두번째" json_data["3"] = {"1" : []} json_data["3"]["1"] = "첫번째" print(json_data) 읽기 ## 읽기 import json with open("json_file.json", "r") as jf: st_python = json.load(jf) 쓰기 ## 쓰기 import json with open("json_file.json", "w") as jf: json.dump(json_data, jf) 공감수 0 댓글수 0 2021. 6. 23.
Requirements.txt 만들기 새로운 conda env 혹은 virtualenv를 사용할 때 이전의 작업환경을 복사해야하는 경우가 많다. 그 경우 해당 환경안의 pip 패키지들을 이용해야하는데 이러한 부분을 requirements.txt를 만듦으로서 빠르게 수행할 수 있다. # pip freeze > 저장경로/저장파일이름.txt pip freeze > Desktop/requirements.txt 이후 저장한 requirements.txt를 실행하려면 새로운 환경을 만든 뒤 해당하는 폴더 혹은 파일 경로를 지정해줍니다. # 새로운 환경을 만든 뒤 # pip install 경로/파일이름.txt pip install -r Desktop/requirements.txt 공감수 0 댓글수 0 2021. 5. 24.
sklearn dataset, validation Method 모델을 학습한 후 중요한 것은 일반화 성능입니다. 그 중 일반화 성능 올릴 가능성이 있는 방법은 Cross-validation 방법입니다. 모델 학습에 있어서 중요한 것은 데이터 입니다. 어떠한 데이터 A가 있을 때, 여러 모델을 이용하여 데이터 A를 학습시킨다고 가정하였을 때, 물론 해당 모델이 훈련을 잘 하는 것도 있겠지만 데이터의 양이나 질에 따라 모델의 성능이 달라질 수 있습니다. 우선 sklearn에서는 dataset을 분할할 수 있는 코드가 제공됩니다. (데이터 분할하는 코드를 테스트해보기 위해 sklearn 패키지의 Iris(꽃) 데이터 셋을 이용하였습니다.) import numpy as np from sklearn.model_selection import train_test_split fr.. 공감수 0 댓글수 0 2021. 5. 21.
자연어 처리 성능 평가 지표 - Matthews Correlation Coefficient 상관계수 상관계수란 두 변수 사이의 연관성을 나타냅니다. 즉 둘 사이에 얼마나 상관 관계가 있는지 측정하는 척도입니다. 주로 두 숫자형 변수 사이의 연관성을 직선적인 경향을 나타냅니다. 좌표평면을 펼쳐놓고 x축은 변인 x를, y축은 변인 y를 나타내게 한 뒤 각각의 관찰값들을 산점도 형태로 찍어놓으면, 그 결과 두 변인이 어떤 관계가 있는지 시각적으로 나타나게 됩니다. 양의 상관이 나타날 경우 관찰값들은 우상향하는 방향으로 모이고, 음의 상관이 나타날 경우 관찰값들은 우하향하는 방향으로 모이게 됩니다. 관찰값들이 빽빽하게 밀집해서 모이는 경우와 흩어져 분포하는 경우가 있는데 밀집된 경우 상관계수가 높다고 말할 수 있고, 흩어져 있는 경우 상관계수가 낮다고 말할 수 있습니다. 피어슨 상관 계수 (Pears.. 공감수 3 댓글수 0 2021. 5. 8.
positive-definite, negative-definite matrix A > 0와 같은 행렬 부등식이 있다. 행렬 A가 0보다 크다는 이야기이다. 행렬에 대해서는 이러한 부등호의 관점이 행렬 A의 모든 성분이 0보다 크다는 것을 의미하는 것은 아니다. 위의 A > 0 식은 행렬 A가 정정 행렬(positive-define matrix)를 나타낸다. 또한, 부등호가 포함된 A >= 0 식은 행렬 A가 준정정 행렬(positive semi-define matrix)를 나타냅니다. 위키피디아에서는 다음과 같이 정의 되어 있습니다. 예제1 Identity matrix I 행렬은 정정(positive-definite), 준정정(positive semi-definite)이며, 대칭적인(symmetric) 행렬입니다. 실수 a와 b를 가진 모든 Non-zero Column vector.. 공감수 0 댓글수 0 2021. 5. 6.
python virtualenv 사용하기 python의 가상환경 virtualenv 모듈 사용법. python의 가상환경은 python 안에 작은 python을 새로 설치해서 원하는 모듈만을 운용하는 또 하나의 환경이라고 생각하면 된다. anaconda의 conda 환경처럼 이용할 수 있다. Ubuntu 18.04에는 기본적으로 Python 2.7버전과 Python 3.6 버전이 설치되어 있습니다. Python 확인은 다음과 같이 실행할 수 있습니다. # python 2.7 확인 python2 # 나오기 : Ctrl+Z # python 3.6 확인 python3 # 나오기 : Ctrl+Z 또한 각 pip 버전을 확인할 수 있습니다. # python2의 pip 버전 pip --version # python3의 pip 버전 pip3 --versio.. 공감수 0 댓글수 0 2021. 4. 26.
Ubuntu scp 커맨드를 이용한 파일 전송 Ubuntu 서버에서 작업을 할 때 내 컴퓨터에서 서버로 데이터를 전송하거나, 서버에서 내 컴퓨터로 데이터를 전송할 때 쓰는 명령어 입니다. SCP (Security CoPy)의 약자로 보안이 보장된 복사를 의미합니다. ssh를 통해 서버에 접속할 때 port 번호와 동일한 포트를 사용하여 SSL 기반의 세션 보안 프로토콜을 사용하여 파일을 전송하기 때문입니다. 현재 복사할 파일이 있는 컴퓨터에서 실행하는 방법 [ Local -> Remote ] # 복사할 파일이 있는 컴퓨터에서 실행하는 방법 scp -P [포트번호] [복사할 파일 경로] [복사하려는컴퓨터 사용자ID]@[ip]:[복사하려는 저장 경로] 파일을 복사하는 방법 # scp [복사할 파일 경로] [복사하려는컴퓨터 사용자ID]@[ip]:[복사하려.. 공감수 1 댓글수 0 2021. 4. 26.
TPU를 이용한 BERT GLUE task Train, Evaluation 해보기 BERT는 자연어 처리의 많은 문제를 해결하는 데 사용할 수 있습니다. 다음은 언어 모델을 평가하는 GLUE 벤치 마크에 대해서 BERT를 미세 조정하는 방법입니다. GLUE 벤치 마크에는 다음과 같은 Task들이 있습니다. 1. CoLA (Corpus of Linguistic Acceptability) : 문장이 문법적으로 정확한지에 대한 Task metrics : Matthews correlation 2. SST-2 (Stanford Sentiment Treebank) : 주어진 문장의 감정을 예측하는 Task metrics : acc. 3. MRPC (Microsoft Research Paraphrase Corpus) : 한 쌍의 문장이 의미상 동일한 지 확인하는 Task metrics : acc... 공감수 0 댓글수 0 2021. 4. 24.
Git 설치하기 (window, 2.31.1) git-scm.com/downloads Git - Downloads Downloads macOS Windows Linux/Unix Older releases are available and the Git source repository is on GitHub. GUI Clients Git comes with built-in GUI tools (git-gui, gitk), but there are several third-party tools for users looking for a platform-specific exp git-scm.com 먼저 사이트에서 해당하는 운영체제 파일을 다운받아줍니다. 설치파일을 실행합니다. Next를 눌러줍니다. 저장할 위치를 지정합니다. 각 항목에 대해 필요한 설정을 한.. 공감수 0 댓글수 0 2021. 4. 13.
Docker 설명 및 사용법 Docker 애플리케이션 구축, 테스트 및 배포를 할 수 있는 소프트웨어 플랫폼 입니다. 컨테이너(Container)라는 표준화된 유닛으로 패키징하며, 이 컨테이너에는 라이브러리, 시스템 도구, 코드, 런타임 등 소프트웨어를 실행하는 데 필요한 것이 포함되어 있습니다. Docker의 작동 방식 Docker는 코드를 실행하는 표준 방식을 제공합니다. 또한 컨테이너를 위한 운영 체제입니다. 가상 머신이 서버 하드웨어를 가상화하는 방식과 비슷하게 컨테이너는 서버 운영 체제를 가상화합니다. Docker는 각 서버에 설치되며 컨테이너를 구축, 시작, 또는 중단할 수 있는 간단한 명령어를 제공합니다. Docker의 장점 Docker를 사용하면 코드를 더 빨리 전달하고, 애플리케이션 운영을 표준화하고, 코드를 원할하.. 공감수 0 댓글수 0 2021. 4. 12.
Front end(프론트 엔드)와 Back end(백엔드), 그리고 Full stack(풀스택) Front end 사용자가 웹 사이트 또는 웹 애플리케이션의 URL을 입력하거나 모바일 애플리케이션을 다운로드할 때, 레이아웃, 인터페이스를 보게되는데 이렇게 사용자가 마주보는 인터페이스를 'Front end'라고 부릅니다. 사용자에게 편리함을 제공하기 위한 사이트의 구성 및 기능 담당인 UX Design이 있으면 UXDesign을 토대로 디자인을 입히는 역할인 Web Design, 그리고 이러한 디자인을 어플리케이션으로 구현하는 Front-End develope가 있습니다. HTML, CSS, JAVASCRIPT 등을 이용해서 개발하며 AngularJS, ReactJS, Bootstrap 등의 개발 도구들이 있습니다. Back end 사용자의 눈에 직접 보이지는 않지만 소프트웨어 개발의 일부분입니다. .. 공감수 0 댓글수 0 2021. 4. 7.
Colab TPU 이용방법 Colab에서 TPU를 이용하여 학습하기 위해서는 GCP(Google Cloud Platform)을 이용해 데이터 및 모델 저장을 해야합니다. 1. 우선 tf.record 파일을 다음과 같이 넣어줍니다. (저번 시간에 만들었던 choice-life.tistory.com/72 에서 폴더를 만든 후 데이터 파일을 tf.record 파일로 변환 후 업로드 하였습니다) 다음으로는 학습 후 모델이 저장될 폴더를 만들어 줍니다. 이렇게하면 GCP 버킷은 준비 상태입니다. 2. 다음으로 구글드라이브에 자신의 모델 혹은 사전훈련 모델 코드파일을 구글 드라이브에 업로드합니다. 3. Colab 우선 코랩 파일을 하나 만듭니다. colab.research.google.com/notebooks/intro.ipynb#recen.. 공감수 0 댓글수 0 2021. 3. 25.
GCP(Google Cloud Platform) Storage, 버킷 만들기 console.cloud.google.com/ Google Cloud Platform 하나의 계정으로 모든 Google 서비스를 Google Cloud Platform을 사용하려면 로그인하세요. accounts.google.com GCP(Google Cloud Platform)에 가입한 후 무료 평가판 300크래딧을 이용하였습니다. 1. 왼쪽 위를 클릭하여 목록에서 Cloud Storage에서 브라우저를 들어갑니다. 2. 이후에 버킷 만들기를 눌러줍니다. 3. 내용을 입력해줍니다. 여기서 위치 유형을 선택하면 오른쪽에 월별 예상 비용이 달라집니다. 크게 비용이 들지는 않지만 확인해서 체크하세요. 나머지는 일반적으로 선택된 탭으로 지정하였습니다. 이후에 만들기를 클릭하면 다음과 같이 만들어집니다. 여기서 .. 공감수 0 댓글수 0 2021. 3. 25.
NLP data를 tf.record로 변환하기 다음 블로그를 보고 수정하였습니다. kaen2891.tistory.com/65 2차원 음성 대용량 데이터셋을 TfRecord로 만들기 Tensorflow는 pytorch의 dataloader처럼 queue를 사용하여, 전체 데이터셋을 가져온 뒤 그것을 batch 만큼 쪼개서 하는 것이 살짝 번거롭다. 즉 이말을 다시 풀어보면, pytorch에서는 dataloader를 사용하여 여러. kaen2891.tistory.com 1. 테스트 데이터 해당 데이터는 임의적으로 만든 데이터 data1.txt, data2.txt 입니다. 2. tf.record 파일 생성 writer 코드입니다. import tensorflow as tf print(tf.__version__) import os from glob impo.. 공감수 0 댓글수 0 2021. 3. 18.
Wikipedia Dataset Preprocessing 1. Data를 다운받아줍니다. dumps.wikimedia.org/enwiki/latest/ Index of /enwiki/latest/ dumps.wikimedia.org 일반적으로 enwiki-latest-pages-articles1.xml-p1xxx.bz2 데이터를 사용합니다. 클릭하면 자동으로 다운이 받아집니다. 한번씩 많은 데이터를 받으려고 할 때에는 오류가 나기때문에 중간 데이터가 없다고 생각하시지말고 천천히 순차적으로 받아주시면 되겠습니다. 우선은 제일 오른쪽에는 용량이 나와있습니다. 기본 byte로 표시되어 있고 계산기를 통해 1024씩 나눠서 KB, MB, GB로 확인 하실 수 있습니다. 다운을 받으셨다면 폴더를 하나 만들어줍니다. 만든 폴더에서 터미널을 여신후 아래의 코드를 입력해주시.. 공감수 0 댓글수 0 2021. 3. 18.
CUDA, CUDNN install. 우분투 쿠다 설치 1. Cuda 다운로드 developer.nvidia.com/cuda-toolkit-archive CUDA Toolkit Archive Previous releases of the CUDA Toolkit, GPU Computing SDK, documentation and developer drivers can be found using the links below. Please select the release you want from the list below, and be sure to check www.nvidia.com/drivers for more recent production developer.nvidia.com 설치하고자 하는 CUDA 버전을 선택합니다. 다음은 설치 옵션입니다. 설치 옵션.. 공감수 1 댓글수 0 2021. 3. 17.
Ubuntu Graphic Driver install, 우분투 그래픽 드라이버 설치 1. 현재 장착된 GPU에 맞는 그래픽 드라이버 및 버전을 선택한다. www.nvidia.co.kr/Download/Find.aspx?lang=kr NVIDIA Driver 다운로드 - 고급 검색 SD Studio 드라이버 Studio 드라이버는 핵심 주요 크리에이티브 애플리케이션에 최상의 경험을 제공합니다. NVIDIA는 최고의 크리에이티브한 애플리케이션에 중점을 둔 광범위한 테스트를 시행하며, www.nvidia.co.kr 가끔 현재 장착된 그래픽 카드와 다른 것이 있으니 확인 후 SEARCH 버튼을 눌러줍니다. 그런다음 원하는 버전의 그래픽 드라이버를 선택 후 다운로드를 해줍니다. 다운로드를 진행하면 /home/user/Download/ 에 저장이 됩니다. (일반적으로) 2. Command Lin .. 공감수 0 댓글수 0 2021. 3. 17.
React, JQuery, Flask 를 이용한 중개 통신 Flask를 이용한 통신 중개 서버를 먼저 만든다. from flask import Flask, jsonify, request import json import ssl app = Flask(__name__) cam_msg = 'init' # headers = {'Content-Type': 'application/json'; charset=utf-8'} # data = {'flags':'data'} # requests.post('ip_address', headers = headers, data = json.dumps(data)) ######## cam_data ######## @app.route("/camera", methods=['POST']) def receive_cam(): global cam_msg.. 공감수 0 댓글수 0 2021. 3. 12.
VS Code python.autoComplete.extraPaths 설정 VS Code python.autoComplete.extraPaths 설정 "python.autoComplete.extraPaths": [ "/home/com/anaconda3/envs/tensorflow/lib/python3.6", "/home/com/anaconda3/envs/torch/lib/python3.6", "/home/com/anaconda3/envs/react/lib/python3.6" ], 해당하는 python 환경에서 필요한 모듈 불러오기 가능 공감수 0 댓글수 0 2021. 3. 12.
VSCode Python launch.json Python launch.json 수정 { // Use IntelliSense to learn about possible attributes. // Hover to view descriptions of existing attributes. // For more information, visit: https://go.microsoft.com/fwlink/?linkid=830387 "version": "0.2.0", "configurations": [ { "name": "Python: Current File (Integrated Terminal)", "type": "python", "request": "launch", "program": "${file}", "console": "integratedTermin.. 공감수 0 댓글수 0 2021. 3. 12.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.