| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | 6 | 7 |
| 8 | 9 | 10 | 11 | 12 | 13 | 14 |
| 15 | 16 | 17 | 18 | 19 | 20 | 21 |
| 22 | 23 | 24 | 25 | 26 | 27 | 28 |
| 29 | 30 | 31 |
- Analyzer
- ann
- 양자컴퓨터
- elasticsearch cache
- Query
- Docker
- file download
- JPA
- api cache
- NORI
- IONQ
- 테슬라
- vavr
- API
- aggs
- dbeaver
- request cache
- java crawler
- Cache
- 아이온큐
- Elastic
- aqqle
- mysql
- KNN
- Selenium
- java
- Aggregation
- Elasticsearch
- TSLA
- redis
- Today
- Total
목록Aqqle/CRAWLER (3)
아빠는 개발자
[Aqqle] 상품데이터 긁어보자
뭐때문인지 기억은 안나지만.. DB reload 하다가 데이터가 다 날라갔다...Aqqle 파산직전.. 일단 다시 상품 데이터 부터 수집해보잣.. N.. 은 이제 쉽지 않아졌다. 같은 리스트지만 css class 를 다르게 적용하고 있어서 css selector 를 이용해서 긁기가 .. 힘들다.. 긁으면서 tensorflow api 를 통해서 512차원 으로 변환된 백터도 함께저장하고 있는데 HTTP error fetching URL. Status=418 긁는게 쉽지않다.. 이 회사는 나말고도 긁는 사람 많을꺼라 힘들어 하고 있는 T 를 털어봐야겠다.
[Aqqle] Ya후 finance 긁어보자 2
몇일 전까지 다운로드 링크를 제공했었는데.. 막혔다. 치사하다..그래서 또 긁어야 겠다. 주가정보를 훔쳐서 보관할 테이블 생성 CREATE TABLE `stock_data` ( `id` bigint NOT NULL AUTO_INCREMENT, `company` varchar(100) NOT NULL, `company_code` varchar(20) NOT NULL, `trading_date` date NOT NULL, `open` float DEFAULT NULL, `high` float DEFAULT NULL, `low` float DEFAULT NULL, `close` float DEFAULT NULL, `adj_close` float DEFAULT NULL, `volume` b..
[Aqqle] 야hoo finance 긁어보자
Aqqle 컨셉이 자꾸 바뀌는거 같지만.. 일단 미국주식을 정보를 긁어봐야겠다. 일단 먹잇감은 아래 이녀석이다. 페이징도 있으니.. 넌.. 디졌다. 앞에 code 와 longName 을 긁어다가 DB 에 넣고 저 코드로 주가정보 히스토리 파일을 다운받아서 배치로 색인할 예정일단 긁었다. package com.doo.aqqle.service;import com.doo.aqqle.element.Site;import com.doo.aqqle.factory.SiteFactory;import com.doo.aqqle.factory.YahooFactory;import com.doo.aqqle.repository.Stock;import com.doo.aqqle.repository.StockRepository;im..