아빠는 개발자

Top hits aggregation메트릭 top_hits애그리게이터는 가장 관련성 있는 문서를 집계하는 것을 추적합니다. 이 애그리게이터는 하위 애그리게이터로 사용되도록 의도되어 있으므로 버킷당 가장 일치하는 문서를 집계할 수 있습니다.  최상위 집계로는 권장하지 않고 collapse 파라미터를 사용하라.. Optionsfrom- 가져오려는 첫 번째 결과로부터의 오프셋입니다.size- 버킷당 반환할 상위 매칭 히트의 최대 수. 기본적으로 상위 3개 매칭 히트가 반환됩니다.sort- 상위 매칭 히트를 정렬하는 방법. 기본적으로 히트는 주요 쿼리의 점수에 따라 정렬됩니다. Supported per hit featurestop_hits 집계는 정기적인 검색 결과를 반환하므로 많은 히트당 기능을 지원할 수 있..

elastic stack 8.4.1 을 설치 후 kibana maps 가 있길래 한번 건들여봄국가별 ip 와 위도 경도 정보가 있는 파일을 ES에 색인하고 maps 를 실행시켜서 확인해보았다.  색인 구조를 가지고 있는 index.json 파일 나중에 아이피도 테스트 해봐야 하니까 ip 정보는 ip type 타입으로 맵핑, location 정보는 geo_point 타입으로 맵핑 나머지는 주소정보니까 대충 keyword 타입으로 맵핑{ "settings": { "number_of_shards": 2, "number_of_replicas": 0 }, "mappings": { "dynamic": "true", "_source": { "enabled": "true" },..

텍스트, 이미지, 이벤트 등 모든 종류의 콘텐츠를 벡터로 나타낼 수 있는 차세대 기계 학습 모델 덕분에 벡터 검색에 대한 관심이 급증했습니다. 종종 "임베딩 모델"이라고 하는 이러한 강력한 표현은 표면 수준 특성을 넘어서는 방식으로 두 콘텐츠 간의 유사성을 포착 할 수 있습니다. 뭐 이렇다고 한다. 7버전에서도 dense_vector 타입으로 색인하고 cosine similarity 등 kNN 검색이 가능한데.. 8의 특징이 ANN 검색이라고 하니 얼마나 좋아졌는지 테스트 해봐야겠다 k-nearest neighbor (kNN) search algorithms 은 쿼리 벡터와 가장 유사한 데이터세트에서 벡터를 찾습니다. 이러한 벡터 표현과 함께 kNN 검색은 검색에 대한 흥미로운 가능성을 열어준다고 한다 ..

아마도 6 버전인듯한데.. http 통신을 하는 플러그인을 제한 해서 head 를 설치를 못하고 chrome 브라우저 앱으로 사용했던 것 같다. 일단 head 란 뭐냐.. elasticsearch 필수 플러그인으로 활약하던 과거의 영광이 있던 플러그인이지만. .. 지금은 개발자들이 잘 안쓰는듯.. 좀 허접하게 생기긴했으나. 직관적으로 노드, 샤드 및 클러스터 상태를 확인할 수 있어서 난 아직도 사용 중 설치하러 가보자. 구글검색페이지 우측 상단에 점 9개짜리 버튼을 눌러보면 크롬 웹스토어 라는것이 있다. 접속하면 이런 화면이 나오는데 우측 상단 검색창에 elasticsearch 라고 검색해보자 검색결과 별점은 낮지만 최상단에 있는 Multi Elasticsearch Head 가 있다. Multi ? 내가..

대시보드를 만들어보자 우선 키바나에 접속 manage space kibana > data views 에서 data view 를 생성해보자 음.. 일단 시계열 데이터를 만들어야해서 created_time 을 조작해서 시계열을 만들어봄 일단 TSVB 와 metric, 도넛으로 간단한 데시보드를 만들어 보았다.

이 기능은 향후 변경되거나 없어질 수도 있다. 라고 함 그냥 경험만 해보는 걸로 .. 사전작업 이전에 생성해 놓은 es.8.8.1 을 복사해서 es.8.11.3 을 만들어 놓는다 kibana dev tool 접속 PUT sample_data { "mappings": { "properties": { "client.ip": { "type": "ip" }, "message": { "type": "keyword" } } } } PUT sample_data/_bulk {"index": {}} {"@timestamp": "2023-10-23T12:15:03.360Z", "client.ip": "172.21.2.162", "message": "Connected to 10.1.0.3", "event.duration":..