일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | ||
6 | 7 | 8 | 9 | 10 | 11 | 12 |
13 | 14 | 15 | 16 | 17 | 18 | 19 |
20 | 21 | 22 | 23 | 24 | 25 | 26 |
27 | 28 | 29 | 30 |
Tags
- file download
- Query
- api cache
- mysql
- IONQ
- Aggregation
- 아이온큐
- aggs
- Elasticsearch
- Docker
- vavr
- dbeaver
- Cache
- redis
- KNN
- API
- TSLA
- JPA
- java crawler
- NORI
- Elastic
- Selenium
- 양자컴퓨터
- java
- 테슬라
- elasticsearch cache
- ann
- aqqle
- request cache
- Analyzer
Archives
- Today
- Total
목록Aqqle/EXTRACT (2)
아빠는 개발자
[Aqqle] YahooDataService 의 execute
Ya후의 stock 서비를 크롤링해서 데이터를 훔처오는 service 인데 대충 만들다보니 리팩토링좀 해야할듯.. 기존소스의 개선점예외 처리 로직 강화병렬 처리 최적화 (CompletableFuture.allOf)하드코딩된 경로 제거가독성과 유지보수성 향상package com.doo.aqqle.service;import com.doo.aqqle.annotation.Timer;import com.doo.aqqle.repository.StockDataRepository;import com.doo.aqqle.repository.StockRepository;import lombok.extern.slf4j.Slf4j;import org.apache.tomcat.util.http.fileupload.FileUtil..
Aqqle/EXTRACT
2025. 2. 1. 21:08

DB에 있는 데이터를 추출 해서 파일로 만든다 색인데이터가 유실되는것을 막기위해 안전하게 처리하기 위함이라고 생각했는데 데이터가 많아지면 이방법으로 가능할까? 라는 의문이 들긴한다. 파일 생성 경로는 /data/static 실행해보자 /data/static/202402032221 라고 경로가 찍히고 해당 경로에 디렉토리가 생성되고 디렉토리 안에 아래와 같이 파일이 생성된다. 파일을 열어보면 이렇게 저장되어 있는데 512차원의 백터값 때문에 지저분하다.
Aqqle/EXTRACT
2024. 2. 3. 22:25