잡다한 것

서론 GCP에 docker-compose로 만든 이미지를 어떻게든 배포해보려고 찾다가, 주제와는 크게 상관은 없지만 고민했던 방법들도 함께 본문을 통해 소개하려 한다. GCP에서는 진짜 두 번째 방법 밖에 없나 고민하는 과정에서 GCP에서 k8s를 지원하는 것을 보고, 간단하게 빌드하고 한 번 시도를 해보려한다. 참고로 난 k8s에 대한 공부를 별도로 한 적이 없어서 삽질을 너무 많이 했다. [ 첫 번째 방법 ] CI/CD로 연동할 Git 레포가 있는 경우에는 Cloud Build 기능을 활용할 수 있다. 요약하자면 "cloudbuild.yaml" 파일에 docker-compose를 실행하는 등 다양한 트리거를 지정할 수 있다. 아무래도 트리거다 보니 "이벤트 발생 시점"을 지정할 수 있는데 수동이든, ..

서론 GCP에 docker-compose로 만든 이미지를 배포해보려고 방법을 찾다가, GCP에서 k8s를 지원하는 것을 보고, 간단하게 빌드하고 한 번 시도를 해보려한다. 본론 k8s 파일을 만드는 법을 배우는 것도 중요하지만, 리소스 낭비라서 docker-compose 파일을 k8s에서 사용가능한 파일로 변환해주는 도구를 찾아봤고, 역시나 이미 개발되어 있었다 ~ 유레카‼️ converting을 해주는 도구는 "kompose"이며, brew를 사용해 설치하고 아래와 같이 사용하면 된다. $ kompose convert -f docker-compose.yml 결론 끝나고 나서 안거지만, GCP에서는 굳이 kompose 없이 docker-compose로 지정한 컨테이너를 띄울 수 있었다. docker-co..

서론 빌드 시 pip으로 라이브러리를 설치하는 코드에서 갑자기 에러가 발생했다. 찾아보니 원인은 메모리 부족 ㅡㅡ 별도로 도커에 대해 배우지 않았다보니, 도커는 메인 메모리에서 알아서 필요한 만큼 가져간다고 생각했어서 뭔데 안깔리지? 싶었으나 당연하게도 기존에 가졌던 생각이 잘못됐었다. 본론 맥북 기준으로는 Docker Desktop 앱의 우측 상단 Settings 아이콘 -> Resources를 통해 할당된 자원을 조절할 수 있었다. 컴퓨터마다 같은 값인지는 모르겠으나, 2GB 정도로 메모리가 할당되어 있었다. 메모리를 할당량을 늘려서 재빌드를 하니까 에러 없이 잘 동작했다.

Container 환경이 아닌 On-Premise 서버에만 자주 붙여봤으나 Container에 붙여보긴 처음이라 한 번 기록해봤다. 1. 환경 세팅 1-1. Docker 이미지가 없는 경우부터 가정하고, 아래처럼 Dockerfile을 만들어주자. (아래의 Dockerfile의 경우 우분투 18.04에 파이썬 3.7, ssh를 올리고 flask를 올리는 간단한 소스코드로 작성했다) FROM ubuntu:18.04 RUN apt-get update && apt-get install -y \ software-properties-common RUN add-apt-repository ppa:deadsnakes/ppa RUN apt-get update && apt-get install -y \ python3.7 \..

방법 mac to windows 환경에서 테스트를 함. 1. live share 설정에서 "Allow Guest Debug Control" 체크 2. 원격 붙은 뒤, Share Terminal에 rw 권한 주기 주의사항 초록색 run 버튼 눌러서 하는 건 안됨, -> hot key나, 상단 메뉴의 run을 누른 뒤, "Start Debugging"이나 "Run without Debugging" 기능을 사용하면 된다.

간단하게 구축이 가능하당. 환경 OS : Kali 2020.03-amd64 설치 방법 vscode를 설치하고, code-server를 설치하면 된다. # wget https://github.com/cdr/code-server/releases/download/v3.9.3/code-server_3.9.3_amd64.deb # dpkg -i code-server_3.9.3_amd64.deb # wget https://az764295.vo.msecnd.net/stable/3c4e3df9e89829dce27b7b5c24508306b151f30d/code_1.55.2-1618307277_amd64.deb # dpkg -i code_1.55.2-1618307277_amd64.deb # cat ~/.config/cod..

$ sqlite3 [db 파일명] sqlite3> .mode insert sqlite3> .output a.sql sqlite3> .dump Reference [1] jadumate.tistory.com/entry/sqlite3-database-disk-image-is-malformed-%EB%82%98%EC%98%AC%EB%95%8C

# ./logstash -f *.conf input { stdin{} } filter { grok { match => { message => "\[%{HTTPDATE:timestamp}\]" } } } output { stdout { codec => rubydebug {} } } 쓰다보니 여러 가지로 불편해서, 쉬운 방법을 좀 찾아봤다. [1] 개인적으로는 아래의 사이트에서 디버깅하는 게 좀 더 빠른 것 같다. grokdebug.herokuapp.com/ Grok Debugger One per line, the syntax for a grok pattern is %{SYNTAX:SEMANTIC} grokdebug.herokuapp.com [2] (?.+)으로 특정 문자를 커버하는 게 더 유익함.

진행 과정 1. deb 파일 다운로드 www.elastic.co/downloads/kibana Download Kibana Free | Get Started Now | Elastic Download Kibana or the complete Elastic Stack (formerly ELK stack) for free and start visualizing, analyzing, and exploring your data with Elastic in minutes. www.elastic.co 2. dpkg -i *.deb으로 패키지 설치 3. /usr/share/kibana 경로로 이동해서 /etc/kibana 디렉터리의 심볼릭 링크를 config 폴더로 지정. 4. /usr/share/kibana/bin/..

mnist에서 503 에러 나시는 분들, download_mnist함수의 base_url 변수 값만 바꿔서 돌리시면 csv로 데이터셋 받아볼 수 있습니다. - 에러시 pip으로 라이브러리 설치하고 돌리시면 됩니다 - * requests, numpy, pandas # Author : qerogram import numpy as np import pandas as pd import os, struct import requests, hashlib, gzip def getMd5(data) : hash = hashlib.new("md5") hash.update(data) return hash.hexdigest() def fileDownload(url) : filename = getMd5(os.urandom(16)..

서론 누리랩에서 공개한 "초간단 실시간 감시기 만들기(3)"(https://nurilab.github.io/2020/06/01/kicomav_driver_3) 포스팅에서 Python Embedding을 접하게 되었다. 개념은 알고 있었지만, 찾아봐도 이해가 잘 안되서 삽질을 꽤 많이 했다. 추후에도 이용할 것 같아서 간단하게 정리해서 공유하려고 한다. Goal Python Embedding을 통해 DLL 파일로 만들어서, C 계열로 작성된 다른 모듈에도 사용하자. Requirement "pyc"라는 확장자를 가진 컴파일된 파이썬 파일 혹은 파이썬 소스코드, Visual Studio, Python이 필요하다. Set Environment 우선 IDE에서 프로젝트(DLL)를 하나 만든 뒤 Embedding을..

서론 tmux 없이, 터미널을 다수 띄워놓고 작업할 때 서버키는 것과 로그인 절차가 귀찮아서 Alfred를 통해 Shortcut으로 지정할 수 있게 플러그인을 작성했다. 본 코드는 Catalina 10.15.4버전에서 작성되었고, Alfred 4.0.9 버전에서 테스팅했다. iterm2를 사용 중이면, 아래의 스크립트를 적용하면 환경을 유지할 수 있다. Alfred -> Features -> Terminal 메뉴에서 Application을 Custom으로 만든 뒤 아래의 코드를 입력하면 iTerm2 Environment 그대로 가져갈 수 있다. 복사가 안될까봐 미리 파일로 첨부한다. on alfred_script(q) if application "iTerm2" is running or applicatio..