아빠는 개발자

Elasticsearch는 스크립트를 최대한 빨리 사용할 수 있도록 최적화 중요한 최적화 중 하나는 스크립트 캐시입니다. 컴파일된 스크립트는 캐시에 저장되므로 해당 스크립트를 참조하는 요청으로 인해 컴파일 페널티가 발생하지 않음 캐시 크기 조정이 중요.. 스크립트 캐시는 사용자가 동시에 액세스해야 하는 모든 스크립트를 저장할 만큼 충분히 커야 함 node status 에서 스크립트 캐시 제거 수가 많고 컴파일 수가 증가하는 경우 캐시가 너무 작은 것 모든 스크립트는 기본적으로 캐시되므로 업데이트가 발생할 때만 다시 컴파일하면 됩니다. 기본적으로 스크립트에는 시간 기반 만료가 없습니다. 설정 을 사용하여 변경할 수 있음 script.cache.expire. script.cache.max_size 설정을 사..

불용어 (stopword) 필터를 사용해 analyzer 에서 불용어를 걸러낼 수는 있지만.. 이 no result 케이스에서 불용어때문에 걸러진건지 실제 true 인 데이터가 없는건지 알아내야 한다.. 왜냐..면 이 케이스에서 확장검색이 들어가야 하는데 이 확장검색이란 놈이 operator 가 or 이기때문에 조합형 불용어 에서는 정밀도가 떨어지는 검색결과가 나오게 되어 이 케이스를 없애달라는.. 원하는건 불용어를 포함한 검색어 일때 no result 처리 주의할점! 은 스크립트를 사용하면 검색속도가 느려질 수 있다. 암튼.. 일단 만들어 보자 es 는 8.8.1 버전에서 키바나와 es 만 실행 #내 로컬 경로 cd /Users/doo/docker/es8.8.1 실행 #-f 옵션으로 파일지정 #-d 백..

Elasticsearch aggregation 을 테스트 해보려고 한다. 그중에서도 Pipeline Aggregations 우선 내 신상 ES 로 이동 /Users/doo/docker/es8.8.1 실행해보자 (base) ➜ es8.8.1 docker compose up -d --build docker ps -a 우선 키바나를 접속해보자 http://localhost:5601/app/home#/ 오케이 인덱스는 언제더라.. 어젠가 그젠가 만들어 놓은 인덱스 820만건의 location 정보 mapping 구조 더보기 더보기 얼레 timestamp 가 비어있네 ingest pipeline 을 만들어서 timestamp 를 찍어보잣 https://ldh-6019.tistory.com/403 [es8] Ela..

900gle 의 개발 환경을 es8 로 바꾸고 나서 부터 문제가 발생했다. high level client 의 버전은 7.17 버전이후 8버전이 알파상태라 써도 되나 .. 싶은.. maven repository 900gle 이 맛이 갔는데 이게 다 업데이트 때문이라는... es8.8.1 도 카피를 떳더니 충돌나서 데몬이 올라오지도 않고 암튼 ann 쿼리로 900gle 을 업데이트 하려고 했는데 이 쿼리가 es 8 부터 실행되는... 8.6 이상이였나.. 아무튼 7.15 를 8.8.1 로 업데이트 하니.. 끝.. (해결이 아닌 맛이감) 문제의 쿼리 { "query": { "match_all": {} }, "knn": { "field": "name_vector", "query_vector": ${query_..

nori 형태소분석기의 사전파일 테스트 프로젝트 경로 /Users/doo/docker/es8.8.1 프로젝트를 활용할 예정 docker-compose.yml 파일을 열어보면 900gle 에서 쓰고있는 컨테이너들이 잔뜩 들어 있다.. pc 가 성능이 좋았으면 다돌려도 상관없는데.. 내껀 아니라 es, kibana 를 제거한 .yml 파일 생성 docker-compose.yml version: '3.7' services: # The 'setup' service runs a one-off script which initializes the # 'logstash_internal' and 'kibana_system' users inside Elasticsearch with the # values of the pa..