본문 바로가기

분류 전체보기

Wikipedia Dataset Preprocessing 1. Data를 다운받아줍니다. dumps.wikimedia.org/enwiki/latest/ Index of /enwiki/latest/ dumps.wikimedia.org 일반적으로 enwiki-latest-pages-articles1.xml-p1xxx.bz2 데이터를 사용합니다. 클릭하면 자동으로 다운이 받아집니다. 한번씩 많은 데이터를 받으려고 할 때에는 오류가 나기때문에 중간 데이터가 없다고 생각하시지말고 천천히 순차적으로 받아주시면 되겠습니다. 우선은 제일 오른쪽에는 용량이 나와있습니다. 기본 byte로 표시되어 있고 계산기를 통해 1024씩 나눠서 KB, MB, GB로 확인 하실 수 있습니다. 다운을 받으셨다면 폴더를 하나 만들어줍니다. 만든 폴더에서 터미널을 여신후 아래의 코드를 입력해주시.. 더보기
CUDA, CUDNN install. 우분투 쿠다 설치 1. Cuda 다운로드 developer.nvidia.com/cuda-toolkit-archive CUDA Toolkit Archive Previous releases of the CUDA Toolkit, GPU Computing SDK, documentation and developer drivers can be found using the links below. Please select the release you want from the list below, and be sure to check www.nvidia.com/drivers for more recent production developer.nvidia.com 설치하고자 하는 CUDA 버전을 선택합니다. 다음은 설치 옵션입니다. 설치 옵션.. 더보기
Ubuntu Graphic Driver install, 우분투 그래픽 드라이버 설치 1. 현재 장착된 GPU에 맞는 그래픽 드라이버 및 버전을 선택한다. www.nvidia.co.kr/Download/Find.aspx?lang=kr NVIDIA Driver 다운로드 - 고급 검색 SD Studio 드라이버 Studio 드라이버는 핵심 주요 크리에이티브 애플리케이션에 최상의 경험을 제공합니다. NVIDIA는 최고의 크리에이티브한 애플리케이션에 중점을 둔 광범위한 테스트를 시행하며, www.nvidia.co.kr 가끔 현재 장착된 그래픽 카드와 다른 것이 있으니 확인 후 SEARCH 버튼을 눌러줍니다. 그런다음 원하는 버전의 그래픽 드라이버를 선택 후 다운로드를 해줍니다. 다운로드를 진행하면 /home/user/Download/ 에 저장이 됩니다. (일반적으로) 2. Command Lin .. 더보기
React, JQuery, Flask 를 이용한 중개 통신 Flask를 이용한 통신 중개 서버를 먼저 만든다. from flask import Flask, jsonify, request import json import ssl app = Flask(__name__) cam_msg = 'init' # headers = {'Content-Type': 'application/json'; charset=utf-8'} # data = {'flags':'data'} # requests.post('ip_address', headers = headers, data = json.dumps(data)) ######## cam_data ######## @app.route("/camera", methods=['POST']) def receive_cam(): global cam_msg.. 더보기
VS Code python.autoComplete.extraPaths 설정 VS Code python.autoComplete.extraPaths 설정 "python.autoComplete.extraPaths": [ "/home/com/anaconda3/envs/tensorflow/lib/python3.6", "/home/com/anaconda3/envs/torch/lib/python3.6", "/home/com/anaconda3/envs/react/lib/python3.6" ], 해당하는 python 환경에서 필요한 모듈 불러오기 가능 더보기
VSCode Python launch.json Python launch.json 수정 { // Use IntelliSense to learn about possible attributes. // Hover to view descriptions of existing attributes. // For more information, visit: https://go.microsoft.com/fwlink/?linkid=830387 "version": "0.2.0", "configurations": [ { "name": "Python: Current File (Integrated Terminal)", "type": "python", "request": "launch", "program": "${file}", "console": "integratedTermin.. 더보기
Zero Shot Learning(제로샷 학습, 0shot) 출처 : https://en.wikipedia.org/wiki/Zero-shot_learning Zero shot learning(ZSL)은 기계 학습에서 설정된 문제로, Test 때 Learner는 훈련 중에 관찰되지 않은 클래스의 샘플을 관찰하며, 이들이 속한 범주를 예측해야 한다. 이 문제는 컴퓨터 비전, 자연어 처리, 기계 인식에서 널리 연구되고 있습니다. 배경과 역사 자연어 처리의 제로 샷 학습에 대한 첫 논문은 AAAI'08에 등장했지만 학습 패러다임에 주어진 이름은 데이터없는 분류였습니다. [1] www.aaai.org/Papers/AAAI/2008/AAAI08-132.pdf 컴퓨터 비전의 제로 샷 학습에 관한 첫 논문은 제로 데이터 학습이라는 이름으로 같은 컨퍼런스에서 발표되었습니다. [2.. 더보기
부트스트랩, Bootstrap in ML Bootstrap : (부츠 뒤의) '가죽 손잡이', 혹은 (비유적으로) '혼자의 힘'을 뜻한다고 합니다. 부츠를 신을 때 손잡이를 이용하면 다른 사람의 힘을 빌리지 않고 신을 수 있듯이 Bootstrap sampling이란 비용과 시간이 많이 드는 데이터 수집을 스스로 해결할 수 있는 샘플링 방법이라고 간단히 말할 수 있다고 합니다. [출처: www.statisticshowto.com/bootstrap-sample]/] 통계학 - Bootstrap 통계학에서는 "Bootstrap"이란 용어를 사용합니다. 부트스트랩은 무작위 표본 추출에 의존하는 어떤 시험이나 계측이라고 설명됩니다. 표본 추정치들의 (편향, 분포, 신뢰 구간, 오차 예측 또는 기타 추정치들로 정의 되는) 정확도를 할당할 수 있도록 합니다.. 더보기

티스토리툴바