스파크(Spark)에서 S3 이용하기

스파크 설치 스파크를 다운로드한다 (https://spark.apache.org/downloads.html) curl http://mirror.apache-kr.org/spark/spark-2.3.0/spark-2.3.0-bin-hadoop2.7.tgz | tar xzf - 원하는 경로로 옮기고 적절한...

2018, Jul 08   —  3 minute read

Decorator로 함수 실행시간 기록하기

Decorator로 함수 실행시간 로깅하고, 이메일 알람보내기 데이터 전처리나 학습을 시켜놓고 며칠 뒤 결과를 확인하는 경우가...

2018, Jul 08   —  7 minute read

모듈별 로거 사용하기

로거를 만들어주는 함수를 따로 작성한다 def get_logger(name, logfile='/dev/null', level=0, stream=False): logger = logging.getLogger(name) logger.setLevel(level) formatter...

2018, Jul 08   —  1 minute read

우분투에 파이썬 설치하기

python 2.7 & pip2 설치 sudo apt-get install python-software-properties -y 패키지를 다운받기 위한 pip를 설치한다....

2018, Jul 08   —  2 minute read

SSH 자동 로그인

ssh (secure shell)을 이용하여 서버에 접속할때 매번 username@server.address.com으로 접속하고 비밀번호를 입력해야 하는 번거로움이 있다. 이를...

2018, Mar 01   —  2 minute read

Effective Python 번역 요약

Chapter 1. Pythonic Thinking 1. Know Which Version of Python You’re Using python 3 써라...

2018, Mar 01   —  102 minute read