본문 바로가기

분류 전체보기

Ubuntu scp 커맨드를 이용한 파일 전송 Ubuntu 서버에서 작업을 할 때 내 컴퓨터에서 서버로 데이터를 전송하거나, 서버에서 내 컴퓨터로 데이터를 전송할 때 쓰는 명령어 입니다. SCP (Security CoPy)의 약자로 보안이 보장된 복사를 의미합니다. ssh를 통해 서버에 접속할 때 port 번호와 동일한 포트를 사용하여 SSL 기반의 세션 보안 프로토콜을 사용하여 파일을 전송하기 때문입니다. 현재 복사할 파일이 있는 컴퓨터에서 실행하는 방법 [ Local -> Remote ] # 복사할 파일이 있는 컴퓨터에서 실행하는 방법 scp -P [포트번호] [복사할 파일 경로] [복사하려는컴퓨터 사용자ID]@[ip]:[복사하려는 저장 경로] 파일을 복사하는 방법 # scp [복사할 파일 경로] [복사하려는컴퓨터 사용자ID]@[ip]:[복사하려.. 더보기
TPU를 이용한 BERT GLUE task Train, Evaluation 해보기 BERT는 자연어 처리의 많은 문제를 해결하는 데 사용할 수 있습니다. 다음은 언어 모델을 평가하는 GLUE 벤치 마크에 대해서 BERT를 미세 조정하는 방법입니다. GLUE 벤치 마크에는 다음과 같은 Task들이 있습니다. 1. CoLA (Corpus of Linguistic Acceptability) : 문장이 문법적으로 정확한지에 대한 Task metrics : Matthews correlation 2. SST-2 (Stanford Sentiment Treebank) : 주어진 문장의 감정을 예측하는 Task metrics : acc. 3. MRPC (Microsoft Research Paraphrase Corpus) : 한 쌍의 문장이 의미상 동일한 지 확인하는 Task metrics : acc... 더보기
Git 설치하기 (window, 2.31.1) git-scm.com/downloads Git - Downloads Downloads macOS Windows Linux/Unix Older releases are available and the Git source repository is on GitHub. GUI Clients Git comes with built-in GUI tools (git-gui, gitk), but there are several third-party tools for users looking for a platform-specific exp git-scm.com 먼저 사이트에서 해당하는 운영체제 파일을 다운받아줍니다. 설치파일을 실행합니다. Next를 눌러줍니다. 저장할 위치를 지정합니다. 각 항목에 대해 필요한 설정을 한.. 더보기
Docker 설명 및 사용법 Docker 애플리케이션 구축, 테스트 및 배포를 할 수 있는 소프트웨어 플랫폼 입니다. 컨테이너(Container)라는 표준화된 유닛으로 패키징하며, 이 컨테이너에는 라이브러리, 시스템 도구, 코드, 런타임 등 소프트웨어를 실행하는 데 필요한 것이 포함되어 있습니다. Docker의 작동 방식 Docker는 코드를 실행하는 표준 방식을 제공합니다. 또한 컨테이너를 위한 운영 체제입니다. 가상 머신이 서버 하드웨어를 가상화하는 방식과 비슷하게 컨테이너는 서버 운영 체제를 가상화합니다. Docker는 각 서버에 설치되며 컨테이너를 구축, 시작, 또는 중단할 수 있는 간단한 명령어를 제공합니다. Docker의 장점 Docker를 사용하면 코드를 더 빨리 전달하고, 애플리케이션 운영을 표준화하고, 코드를 원할하.. 더보기
Front end(프론트 엔드)와 Back end(백엔드), 그리고 Full stack(풀스택) Front end 사용자가 웹 사이트 또는 웹 애플리케이션의 URL을 입력하거나 모바일 애플리케이션을 다운로드할 때, 레이아웃, 인터페이스를 보게되는데 이렇게 사용자가 마주보는 인터페이스를 'Front end'라고 부릅니다. 사용자에게 편리함을 제공하기 위한 사이트의 구성 및 기능 담당인 UX Design이 있으면 UXDesign을 토대로 디자인을 입히는 역할인 Web Design, 그리고 이러한 디자인을 어플리케이션으로 구현하는 Front-End develope가 있습니다. HTML, CSS, JAVASCRIPT 등을 이용해서 개발하며 AngularJS, ReactJS, Bootstrap 등의 개발 도구들이 있습니다. Back end 사용자의 눈에 직접 보이지는 않지만 소프트웨어 개발의 일부분입니다. .. 더보기
Colab TPU 이용방법 Colab에서 TPU를 이용하여 학습하기 위해서는 GCP(Google Cloud Platform)을 이용해 데이터 및 모델 저장을 해야합니다. 1. 우선 tf.record 파일을 다음과 같이 넣어줍니다. (저번 시간에 만들었던 choice-life.tistory.com/72 에서 폴더를 만든 후 데이터 파일을 tf.record 파일로 변환 후 업로드 하였습니다) 다음으로는 학습 후 모델이 저장될 폴더를 만들어 줍니다. 이렇게하면 GCP 버킷은 준비 상태입니다. 2. 다음으로 구글드라이브에 자신의 모델 혹은 사전훈련 모델 코드파일을 구글 드라이브에 업로드합니다. 3. Colab 우선 코랩 파일을 하나 만듭니다. colab.research.google.com/notebooks/intro.ipynb#recen.. 더보기
GCP(Google Cloud Platform) Storage, 버킷 만들기 console.cloud.google.com/ Google Cloud Platform 하나의 계정으로 모든 Google 서비스를 Google Cloud Platform을 사용하려면 로그인하세요. accounts.google.com GCP(Google Cloud Platform)에 가입한 후 무료 평가판 300크래딧을 이용하였습니다. 1. 왼쪽 위를 클릭하여 목록에서 Cloud Storage에서 브라우저를 들어갑니다. 2. 이후에 버킷 만들기를 눌러줍니다. 3. 내용을 입력해줍니다. 여기서 위치 유형을 선택하면 오른쪽에 월별 예상 비용이 달라집니다. 크게 비용이 들지는 않지만 확인해서 체크하세요. 나머지는 일반적으로 선택된 탭으로 지정하였습니다. 이후에 만들기를 클릭하면 다음과 같이 만들어집니다. 여기서 .. 더보기
NLP data를 tf.record로 변환하기 다음 블로그를 보고 수정하였습니다. kaen2891.tistory.com/65 2차원 음성 대용량 데이터셋을 TfRecord로 만들기 Tensorflow는 pytorch의 dataloader처럼 queue를 사용하여, 전체 데이터셋을 가져온 뒤 그것을 batch 만큼 쪼개서 하는 것이 살짝 번거롭다. 즉 이말을 다시 풀어보면, pytorch에서는 dataloader를 사용하여 여러. kaen2891.tistory.com 1. 테스트 데이터 해당 데이터는 임의적으로 만든 데이터 data1.txt, data2.txt 입니다. 2. tf.record 파일 생성 writer 코드입니다. import tensorflow as tf print(tf.__version__) import os from glob impo.. 더보기

티스토리툴바