Apache Hadoop error - ssh 연결 실패
며칠간 다른 작업을 하다가 wsl2 우분투에 구성해놓았던 하둡을 다시 의사분산시스템으로 바꾼뒤 실행 했더니 다음과 같은 오류가 떴다.
- Apache Hadoop error - ssh 연결 실패
- AWS - EC2 인스턴스 생성하고 접속하기
- Apache Hadoop 기초 - Chapter 2 : 맵리듀스의 개념과 맛보기
- Apache Hadoop error : log4j error
- Apache Hadoop 기초 - Chapter 1 : 하둡의 특징
- Keras 시작하기 - PART 2 : 데이터 적재와 이미지 분류기 - 3
- Keras 시작하기 - PART 2 : 데이터 적재와 이미지 분류기 - 2
- Keras 시작하기 - PART 2 : 데이터 적재와 이미지 분류기 - 1
- Keras 시작하기 - PART 1 : GPU 사용설정하기
- Apache Hadoop 시작하기 - PART 3 : Web UI 살펴보기
- Apache Hadoop 시작하기 - PART 2 : Pseudo Distribted 모드 설정하기
- Apache Hadoop 시작하기 - PART 1 : Java, Hadoop 설치하기
- Spark - standalone cluster 구축하기 (Windows)
- spark-shell java.lang.reflect.InvocationTargetException error on Windows 11
- 캔들차트 분석 - 주가등락 이진 분류 part2
- 트렌드 분석 - 시퀀스-시퀀스평균 시퀀스트렌드 레이블링
- 머신러닝 모델에 최적화된 캔들차트 비트맵 이미지 생성
- 캔들차트 분석 - 주가등락 이진 분류 part1
- 캔들차트 CNN 분석 - S3
- 캔들차트 CNN 분석 - S0~S2
- 트랜드 분석 - 시퀀스-일일 단순 등락 레이블링
- 캔들차트 CNN 분석 - 개요
- 유가증권 가격에측모델 연구 시퀀스
- SVM Classifier - 하이퍼파라미터 튜닝
- SVM Classifier - 기본전략
- 볼린저밴드 - 정량적 특성찾기
- 볼린저밴드(Bollinger Band) 기본전략
Recent Posts
AWS - EC2 인스턴스 생성하고 접속하기
AWS 서비스를 이용해보자
Apache Hadoop 기초 - Chapter 2 : 맵리듀스의 개념과 맛보기
Apache Hadoop 기초 : Chapter 2 – 맵리듀스 맛보기 (하둡 완벽가이드 4판을 공부용으로 정리한 내용입니다.)
Apache Hadoop error : log4j error
log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory).
Apache Hadoop 기초 - Chapter 1 : 하둡의 특징
(하둡 완벽가이드 4판을 공부용으로 정리한 내용입니다.)
Keras 시작하기 - PART 2 : 데이터 적재와 이미지 분류기 - 3
(핸즈 온 머신러닝 4판을 보고 직접 해보면서 정리한 내용이 포함되어 있습니다.)
Keras 시작하기 - PART 2 : 데이터 적재와 이미지 분류기 - 2
(핸즈 온 머신러닝 4판을 보고 직접 해보면서 정리한 내용이 포함되어 있습니다.)
Keras 시작하기 - PART 2 : 데이터 적재와 이미지 분류기 - 1
(핸즈 온 머신러닝 4판을 보고 직접 해보면서 정리한 내용이 포함되어 있습니다.)
Keras 시작하기 - PART 1 : GPU 사용설정하기
아나콘다로 가상환경을 구성한 뒤에 텐서플로를 설치해 주었다. 최신버전 pip로 업그레이드 한 후에 pip로 설치해주자.
Apache Hadoop 시작하기 - PART 3 : Web UI 살펴보기
HDFS 와 YARN 을 실행했으면 파일 시스템이나 각종 정보등에 접근 할 수 있는 Web UI가 있다. 가각 localhost: 를 웹 브라우저 주소창에 입력해서 접속 할 수 있다. google chrome 웹 브라우져에서 Jquery가 실행이 안되어 컨텐츠가 보이지 않은 오류가...
Apache Hadoop 시작하기 - PART 2 : Pseudo Distribted 모드 설정하기
(하둡 완벽가이드 4판을 보고 직접 학습용으로 정리한 내용입니다.)
Apache Hadoop 시작하기 - PART 1 : Java, Hadoop 설치하기
(하둡 완벽가이드 4판을 보고 직접 학습용으로 정리한 내용입니다.)
Spark - standalone cluster 구축하기 (Windows)
집에서는 다중 클러스터 환경을 구축하는게 어렵기 때문에 standalone cluster 환경을 구축해서 사용하려고한다.
spark-shell java.lang.reflect.InvocationTargetException error on Windows 11
jdk 를 openjdk로 바꿨는데 pyspark는 잘 작동하는데 잘 되던 spark-shell 에서 오류가 뜬다.
캔들차트 분석 - 주가등락 이진 분류 part2
SGDClassifier에 사용되는 하이퍼 파라미터를 직접 휴리스틱하게 조절하면서 최적의 파라미터를 조정해야한다. GridsearchCV를 이용한 train set의 교차검증을 통해서 파라미터를 조정해본다.
트렌드 분석 - 시퀀스-시퀀스평균 시퀀스트렌드 레이블링
이때까지는 단순하게 하루의 등락만을 가지고 레이블링을 진행해 왔다. 하지만 하루의 등락만을 다루기에는 너무나 변수들이 많고 작은 변화에도 등/락이 쉽게 결정되어버리고 만다. 따라서 예측이 어렵기도 하고 모델에서도 좋은성능을 내기 어려울 것이라는 생각을 했다. 그래서 한 시퀀스에 대...
머신러닝 모델에 최적화된 캔들차트 비트맵 이미지 생성
mplfinance의 캔들차트 생성기를 이용해서 캔들차트를 만들다 보니 마음에 안드는 부분이 많았다.
캔들차트 분석 - 주가등락 이진 분류 part1
주가데이터를 이용해 캔들차트를 생성하고 이진분류기를 이용해 일일 주가의 등락을 예측한다. 주가의 등락을 단순하게 0, 1 로만 레이블링한다. 하루차이의 등락을 예측하기 때문에 노이즈가 당연히 많을 것이다. 추후에는 하루 차이의 등락이 아닌 일정기간의 텀을 둔 기간의 트렌드를 예측한...
캔들차트 CNN 분석 - S3
Rosdyana Mangir Irawan Kusuma & Trang-Thi Ho & Wei-Chun Kao & Yu-Yen Ou & Kai-Lung Hua, 2019. “Using Deep Learning Neural Networks and Candle...
캔들차트 CNN 분석 - S0~S2
S0. 종목 선택 KOSPI200 의 시가총액 1위인 삼성전자 주식을 선택했다.
트랜드 분석 - 시퀀스-일일 단순 등락 레이블링
데이터의 구간을 시간단위로 나누어서 레이블링 해야할 경우가 있다.(ex. 캔들차트 분석) seq_len의 길이로 묶어진 데이터는 하나의 데이터처럼 취급되며 연속된 두 레이블링된 데이터는 공통된 데이터를 가지게 된다.
캔들차트 CNN 분석 - 개요
캔들차트는 유가증권의 가격움직임을 차트로 표현 할때 굉장히 많이 사용하는 방법이다. 캔들차트에서는 기본적으로 각 단위시간 동안의 시가, 종가, 고가, 저가의 정보를 모두 가지고 있기 때문에 캔들차트를 분석하는 것으로만 투자를 진행하는 경우도 많다고 한다.
유가증권 가격에측모델 연구 시퀀스
각종 데이터들을 종합하고 분석하여서 궁극적으로 이루고자 하는 목표는 유가증권의 가격변동을 사전에 예측하여서 개인 또는 기업에게 이문을 남기게 하는것이라고 생각했다.
SVM Classifier - 하이퍼파라미터 튜닝
이전포스트에서는 일일주가데이터 자체를 SVC를 이용해 분석후 예측에 사용했다. 훈련세트에 과적합되어서 제대로된 예측을 하지못했다.
SVM Classifier - 기본전략
이번 포스팅에서는 서포트벡터머신 분류기를 이용해서 일일주가트렌드 분석을 분석해본다.
볼린저밴드 - 정량적 특성찾기
이전 포스팅에서는 볼린저밴드를 이용한 기본적인 전략에 대해서 알아보았다.
볼린저밴드(Bollinger Band) 기본전략
볼린저 밴드(Bollinger Bands) 란? 볼린저 밴드(Bollinger Bands) 는 1980년대 Jhon A. Bollinger 에 의해 개발된 주가 기술분석 도구이다. 굉장히 단순해 보이는 지표이지만 강력한 지표이다.