일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | ||||
4 | 5 | 6 | 7 | 8 | 9 | 10 |
11 | 12 | 13 | 14 | 15 | 16 | 17 |
18 | 19 | 20 | 21 | 22 | 23 | 24 |
25 | 26 | 27 | 28 | 29 |
- elasticsearch cache
- vavr
- api cache
- java crawler
- ann
- Elastic
- 아이온큐
- dbeaver
- Elasticsearch
- JPA
- aqqle
- KNN
- Selenium
- Query
- aggs
- Docker
- API
- redis
- NORI
- mysql
- Analyzer
- request cache
- 테슬라
- Cache
- 양자컴퓨터
- IONQ
- java
- Aggregation
- TSLA
- file download
- Today
- Total
목록2024/02/03 (4)
아빠는 개발자
![](http://i1.daumcdn.net/thumb/C150x150.fwebp.q85/?fname=https://blog.kakaocdn.net/dn/bBbZZU/btsEn0T9lsW/NZ0njqb6rn5Mt0dw5dHzpk/img.png)
아마도 6 버전인듯한데.. http 통신을 하는 플러그인을 제한 해서 head 를 설치를 못하고 chrome 브라우저 앱으로 사용했던 것 같다. 일단 head 란 뭐냐.. elasticsearch 필수 플러그인으로 활약하던 과거의 영광이 있던 플러그인이지만. .. 지금은 개발자들이 잘 안쓰는듯.. 좀 허접하게 생기긴했으나. 직관적으로 노드, 샤드 및 클러스터 상태를 확인할 수 있어서 난 아직도 사용 중 설치하러 가보자. 구글검색페이지 우측 상단에 점 9개짜리 버튼을 눌러보면 크롬 웹스토어 라는것이 있다. 접속하면 이런 화면이 나오는데 우측 상단 검색창에 elasticsearch 라고 검색해보자 검색결과 별점은 낮지만 최상단에 있는 Multi Elasticsearch Head 가 있다. Multi ? 내가..
![](http://i1.daumcdn.net/thumb/C150x150.fwebp.q85/?fname=https://blog.kakaocdn.net/dn/RYjLn/btsEqwZjDhN/GWyVilHK2EFLKGoInvN7M1/img.png)
EXTRACT 에서 추출한 파일을 INDEXER 에서 읽어서 ES에 색인한다. 뭐 이런 컨셉으로 만들었는데.. index 의 생성/삭제 관리쪽이 아직 부족하다.
![](http://i1.daumcdn.net/thumb/C150x150.fwebp.q85/?fname=https://blog.kakaocdn.net/dn/bmGKeF/btsEmC7OjYF/8L15qBTe4dhXPRTuqOxLY1/img.png)
DB에 있는 데이터를 추출 해서 파일로 만든다 색인데이터가 유실되는것을 막기위해 안전하게 처리하기 위함이라고 생각했는데 데이터가 많아지면 이방법으로 가능할까? 라는 의문이 들긴한다. 파일 생성 경로는 /data/static 실행해보자 /data/static/202402032221 라고 경로가 찍히고 해당 경로에 디렉토리가 생성되고 디렉토리 안에 아래와 같이 파일이 생성된다. 파일을 열어보면 이렇게 저장되어 있는데 512차원의 백터값 때문에 지저분하다.
![](http://i1.daumcdn.net/thumb/C150x150.fwebp.q85/?fname=https://blog.kakaocdn.net/dn/cXfBSB/btsElihcCc7/vZjZhY33KhO4bx0zKWbRY1/img.png)
kibana 에서 대시보드를 만들려고 하는데 시계열 데이터를 만들고 싶어서 DB에서 날짜를 임의로 업데이트를 해야겠다. python 에서 몇분전, 몇시간전 이런 식으로 날짜를 계산하고싶은데 datetime 을 활용해보잣. from datetime import datetime now = datetime.now() print("현재 :" , now) 출력 : 현재 : 2024-02-03 18:57:38.572549 timedelta를 사용해서 날짜 계산을 할껀데 import를 수정하고 from datetime import datetime, timedelta 마이크로 세컨드를 계산해보면 before_one_microsecond = now - timedelta(microseconds=1) print("1 mic..