일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | ||||
4 | 5 | 6 | 7 | 8 | 9 | 10 |
11 | 12 | 13 | 14 | 15 | 16 | 17 |
18 | 19 | 20 | 21 | 22 | 23 | 24 |
25 | 26 | 27 | 28 | 29 |
- java
- dbeaver
- Analyzer
- Selenium
- JPA
- request cache
- 양자컴퓨터
- Elastic
- Docker
- mysql
- aqqle
- Elasticsearch
- API
- vavr
- Query
- Aggregation
- 아이온큐
- aggs
- 테슬라
- api cache
- KNN
- elasticsearch cache
- file download
- IONQ
- Cache
- TSLA
- java crawler
- ann
- NORI
- redis
- Today
- Total
목록2024/02/03 (4)
아빠는 개발자

아마도 6 버전인듯한데.. http 통신을 하는 플러그인을 제한 해서 head 를 설치를 못하고 chrome 브라우저 앱으로 사용했던 것 같다. 일단 head 란 뭐냐.. elasticsearch 필수 플러그인으로 활약하던 과거의 영광이 있던 플러그인이지만. .. 지금은 개발자들이 잘 안쓰는듯.. 좀 허접하게 생기긴했으나. 직관적으로 노드, 샤드 및 클러스터 상태를 확인할 수 있어서 난 아직도 사용 중 설치하러 가보자. 구글검색페이지 우측 상단에 점 9개짜리 버튼을 눌러보면 크롬 웹스토어 라는것이 있다. 접속하면 이런 화면이 나오는데 우측 상단 검색창에 elasticsearch 라고 검색해보자 검색결과 별점은 낮지만 최상단에 있는 Multi Elasticsearch Head 가 있다. Multi ? 내가..

EXTRACT 에서 추출한 파일을 INDEXER 에서 읽어서 ES에 색인한다. 뭐 이런 컨셉으로 만들었는데.. index 의 생성/삭제 관리쪽이 아직 부족하다.

DB에 있는 데이터를 추출 해서 파일로 만든다 색인데이터가 유실되는것을 막기위해 안전하게 처리하기 위함이라고 생각했는데 데이터가 많아지면 이방법으로 가능할까? 라는 의문이 들긴한다. 파일 생성 경로는 /data/static 실행해보자 /data/static/202402032221 라고 경로가 찍히고 해당 경로에 디렉토리가 생성되고 디렉토리 안에 아래와 같이 파일이 생성된다. 파일을 열어보면 이렇게 저장되어 있는데 512차원의 백터값 때문에 지저분하다.

kibana 에서 대시보드를 만들려고 하는데 시계열 데이터를 만들고 싶어서 DB에서 날짜를 임의로 업데이트를 해야겠다. python 에서 몇분전, 몇시간전 이런 식으로 날짜를 계산하고싶은데 datetime 을 활용해보잣. from datetime import datetime now = datetime.now() print("현재 :" , now) 출력 : 현재 : 2024-02-03 18:57:38.572549 timedelta를 사용해서 날짜 계산을 할껀데 import를 수정하고 from datetime import datetime, timedelta 마이크로 세컨드를 계산해보면 before_one_microsecond = now - timedelta(microseconds=1) print("1 mic..