일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | ||||||
2 | 3 | 4 | 5 | 6 | 7 | 8 |
9 | 10 | 11 | 12 | 13 | 14 | 15 |
16 | 17 | 18 | 19 | 20 | 21 | 22 |
23 | 24 | 25 | 26 | 27 | 28 |
Tags
- elasticsearch cache
- 아이온큐
- TSLA
- IONQ
- request cache
- java crawler
- Docker
- Query
- api cache
- 테슬라
- Selenium
- Aggregation
- Elastic
- 양자컴퓨터
- redis
- JPA
- API
- aggs
- vavr
- ann
- mysql
- Cache
- Analyzer
- file download
- KNN
- dbeaver
- aqqle
- java
- Elasticsearch
- NORI
Archives
- Today
- Total
목록Aqqle/EXTRACT (2)
아빠는 개발자
[Aqqle] YahooDataService 의 execute
Ya후의 stock 서비를 크롤링해서 데이터를 훔처오는 service 인데 대충 만들다보니 리팩토링좀 해야할듯.. 기존소스의 개선점예외 처리 로직 강화병렬 처리 최적화 (CompletableFuture.allOf)하드코딩된 경로 제거가독성과 유지보수성 향상package com.doo.aqqle.service;import com.doo.aqqle.annotation.Timer;import com.doo.aqqle.repository.StockDataRepository;import com.doo.aqqle.repository.StockRepository;import lombok.extern.slf4j.Slf4j;import org.apache.tomcat.util.http.fileupload.FileUtil..
Aqqle/EXTRACT
2025. 2. 1. 21:08
[Aqqle] 데이터 추출
DB에 있는 데이터를 추출 해서 파일로 만든다 색인데이터가 유실되는것을 막기위해 안전하게 처리하기 위함이라고 생각했는데 데이터가 많아지면 이방법으로 가능할까? 라는 의문이 들긴한다. 파일 생성 경로는 /data/static 실행해보자 /data/static/202402032221 라고 경로가 찍히고 해당 경로에 디렉토리가 생성되고 디렉토리 안에 아래와 같이 파일이 생성된다. 파일을 열어보면 이렇게 저장되어 있는데 512차원의 백터값 때문에 지저분하다.
Aqqle/EXTRACT
2024. 2. 3. 22:25