[CRAWLER] Data 수집 - yahoo finance

데이터가 필요하다.. 매번 수기로 입력해서 하려고 하니까.. 너무 귀찮다

일단 doo investment 에서 해외주식도 하고있으니 해외주식 데이터를 훔쳐오자

Yahoo finace 에 접속해서 종목을 검색 그리고 Historical Data 를 클릭

 

 

그리고 날짜구간을 Max 로해서 가저온다 

 

컬럼을 보아하니 날짜별  시초가, 고가, 저가, 종가, 와 뭔지모를 adjClose 를 가져올 수 있는것 같다. Download 를 클릭해서 가져올 수도 있으나. 

https://query1.finance.yahoo.com/v7/finance/download/NVDA?period1=917015400&period2=1717244542&interval=1d&events=history&includeAdjustedClose=true

 

이렇게 다운로드의 링크를  뽑아다가 배치로 만들어보자 

그리고 색인 후 kibana에서 dashboard 의 제물로 바치려고 했는데...

 

테슬라 종가를 를 TSVB 로 만들어 보았는데 딱히.. 그닥.. 머.. 

 

아무튼 일단 크롤링으로 데이터를 가져오는 배치를 만들어보자.

 

stock manage api 를 만들고 아래와 같이 데이터를 저장한다. 

 

DB 는 MySQL

 

그 다음은 별거 읍슴..

DB 의 데이터를 호출하여 URL 을 만들고 리턴받은 파일을 저장 

 

URL 을 호출해서 파일을 다운 받는건 아래 글에서 확인

https://father-lys.tistory.com/115

[java] URL 호출해서 파일 다운로드

 

 

저장된 파일 확인

 

 

다음은 이 데이터를 읽어다가 ES에 색인