아빠는 개발자

검색 결과 리스팅은 Query Cache에, 검색 결과에 대한 집계 는 Request Cache 에 저장 된다 그렇다면 둘다 확인해서 multi_match + aggs 의 결과가 어디에 캐싱된건지 확인 GET /location-index/_stats/query_cache?human { "_shards": { "total": 2, "successful": 2, "failed": 0 }, "_all": { "primaries": { "query_cache": { "memory_size": "0b", "memory_size_in_bytes": 0, "total_count": 0, "hit_count": 0, "miss_count": 0, "cache_size": 0, "cache_count": 0, "evic..

file system cache 를 이용한.. 꼼수를 부려보자 기존쿼리 + AGGS 를 사용하는데 file system cache 를 이용할 수 가 없다. 왜냐..면 size 가 0이 될 수 없는 상황.. 그래서 AGGS size 0을 먼저 실행하고 그다음 검색쿼리를 실행하면 캐싱을 이용하지 않을까 하는 생각이 있는데 테스트를 해보자 location 정보를 색인할 예정이고 "country_code": { "type": "keyword" }, "city": { "type": "keyword" }, city 를 집계하고 country code 를 쿼리한다. 이게 가능한가? aggs name 으로 캐시가 생성되면 가능할꺼 같기도 한데.. aggs 결과를 쿼리결과와 합치지 않아도 된다면 후 처리 로직이 더 줄어..

파일 시스템 캐시용으로 물리적 RAM의 50% 이상을 남겨둡니다. 메모리가 많을수록 더 많은 부분을 캐시할 수 있으며 특히 클러스터에 I/O 문제가 발생할 경우 유용합니다. 힙 크기가 적절하게 구성되었다고 가정할 때 파일 시스템 캐시에 사용할 수 있는 나머지 물리적 RAM은 검색 성능을 향상하는 데 큰 도움이 됩니다. 예를 들어, 128GB RAM 서버에서 힙 크기로 30GB를 설정하고 나머지 메모리를 파일 시스템 캐시(OS 캐시라고도 함)용으로 설정합니다. 이 방법은 운영 체제가 최근에 액세스한 4KB 블록의 데이터를 캐시하는 방식입니다. 따라서 동일한 파일을 반복해서 읽으면 대부분의 경우 디스크로 이동할 필요 없이 메모리에서 직접 읽기 요청을 처리합니다. Elasticsearch는 파일 시스템 캐시 ..

전역 서수는 집계 성능을 최적화하는 데 사용되는 데이터 구조입니다. 이는 느리게 계산되어 필드 데이터 캐시의 일부로 JVM 힙에 저장됩니다. 버킷팅 집계에 많이 사용되는 필드의 경우 요청을 수신하기 전에 Elasticsearch에 전역 서수를 구성하고 캐시하도록 지시할 수 있습니다. 힙 사용량이 증가하고 새로 고침 시간이 더 오래 걸릴 수 있으므로 이 작업은 신중하게 수행해야 합니다. 이 옵션은 Eager 전역 서수 매핑 매개변수를 설정하여 기존 매핑에서 동적으로 업데이트될 수 있습니다. 맵핑 옵션 PUT index { "mappings": { "properties": { "foo": { "type": "keyword", "eager_global_ordinals": true } } } } 테스트 해보자 ..

검색 속도 조정 파일 시스템 캐시에 메모리 제공 더 빠른 하드웨어 사용 문서 모델링 가능한 한 적은 수의 필드를 검색 사전 색인 데이터 매핑 식별자를 키워드로 고려 스크립트 피하기 반올림된 날짜 검색 읽기 전용 인덱스 강제 병합 글로벌 서수 워밍업 색인 정렬을 사용하여 접속사 속도를 높임 기본 설정을 사용하여 캐시 활용도 최적화 복제본은 처리량에 도움이 될 수 있지만 항상 그런 것은 아님 회사에서 성능 이슈를 제기했다. elasticsearch 의 캐싱을 정리하려고 하는데 쿼리속도가 문제가 아닌걸 알지만 우선 es 레벨에서 캐싱으로 처리할 수 있는 부분을 정리 우선 속도에 영향을 미치는 부분은 The more fields a query_string or multi_match query targets, t..

오르기만하는 내 바보같은 친구 인줄 .. 가치투자한다 생각하고 몇년이고 묵혀두려고 샀는데.. 유투브에서 추천을 엄청하고 카카오 상위 10% 투자고수의 매매수익율 1위가 아이온큐다.. 아무래도.. 이것도 그냥 지나가는 테마주 인듯한 분위기 인데.. 아무튼 아이온 큐는 이렇다 아이온큐(IonQ)는 현재까지 가장 강력한 양자컴퓨터를 만들었다고 광고하고 있다. 큐비트에 갇힌 이온을 사용하기 때문에 다른 양자컴퓨터와는 약간 다르다. 아이온큐는 이를 '개별 원자에 대한 정보 저장'이라고 부른다. 아이온큐 웹사이트에 따르면, 새로운 아이온큐 시스템의 큐비트는 희귀 원소인 이터븀이 진공상태로 있는 개별 원자다. 이 '이온 포획' 기술은 구글이나 IBM과 같은 이 기술 분야의 다른 기술 기업들이 실리콘 칩에서 큐비트를 ..

주식 경력 10 + n 년차 매매수익 + 매매손실 = 본전 되려나.. 거기에 미실현 손익까지 하면.. -1000 이상.. 국내주식은.. 도저히 답이 안나와서 미국증시로 옮겨가는중.. 성융광전투자 상폐는 천운으로 피했지만.. 성지건설 상폐에 전재산 날리고 다시 주식을 시작했는데 내꺼만 안오른다.. 아니지 정확하게는 내가 팔면 오른다.. 공부하자 주식 처음할때는 공부도 하고 책도 읽고 했는데 요즘은 태마주에 불나방 처럼 달려들어서 불에 활활 타는 꼴이니.. 그래 나처럼 투자해서 돈벌면 그게 웃긴거지.. 공부하자! 하다못해 검색이라도 해보자!!!

Approximate Nearest Neighbor search 대략적인 최근접 이웃 검색? 다음과 같은 가능성을 열어준다. 질문에 대한 답이 포함될 가능성이 있는 구절 찾기 대규모 데이터세트에서 거의 중복된 이미지 감지 특정 노래와 비슷한 소리 찾기 ANN 알고리즘 Elasticsearch 8.0은 HNSW(Hierarchical Navigable Small World Graphs)라는 ANN 알고리즘을 사용 테스트에 사용할 내 제물 knn-index : knn search 를 사용하기 위한 맵핑구조 512차원의 dense_vector 타입 필드를 가지고 있음 ann-index : knn search 를 사용하기 위한 맵핑구조 512차원의 dense_vector 타입 필드를 가지고 있음 match-in..

Elasticsearch 8.4 Plugin Build & Install TEST 작업 요약 github.com (https://github.com/elastic/elasticsearch.git) 에서 elasticsearch 소스 다운로드 소스에서 plugin > example > rest-handler 복사 build.gradle 수정 및 plugin 빌드 elasticsearch 에 빌드한 플러그인 설치 - docker compose 테스트 1. elasticsearch project source code download - https://github.com/elastic/elasticsearch.git $ cd plugin $ git clone https://github.com/elastic/el..

900gle 에서 사용할 tokenizer 를 만들고 싶은데 https://www.elastic.co/guide/en/elasticsearch/plugins/current/example-text-analysis-plugin.html Example text analysis plugin | Elasticsearch Plugins and Integrations [8.7] | Elastic Example text analysis pluginedit This example shows how to create a simple "Hello world" text analysis plugin using the stable plugin API. The plugin provides a custom Lucene token f..