아빠는 개발자

레플리카 샤드가 많으면 검색 성능이 좋아지는 이유는 다음과 같은 여러 가지 요인에 기인합니다:1. 병렬 처리 증가레플리카 샤드가 많으면, 동일한 데이터에 대해 여러 샤드가 동시에 검색 쿼리를 처리할 수 있습니다. 이는 병렬 처리를 증가시켜 전체 검색 시간을 줄여줍니다. 예를 들어, 3개의 프라이머리 샤드와 3개의 레플리카 샤드를 갖고 있다면, 총 12개의 샤드(3 프라이머리 + 9 레플리카)가 동시에 검색 쿼리를 처리할 수 있습니다.2. 부하 분산레플리카 샤드가 많으면 검색 요청이 클러스터 내 여러 노드로 분산됩니다. 이는 특정 노드에 검색 요청이 집중되는 것을 방지하고, 클러스터 전체에 부하를 고르게 분산시켜 각 노드의 성능을 최적화합니다. 부하 분산이 잘 되면, 개별 노드의 CPU 및 I/O 사용량이..

6개의 data 노드구성에서 primary 샤드 3 replica 샤드 1 로 했을때와 primary 샤드 3, replica 3으로 했을때의 차이Elasticsearch에서 클러스터를 6개의 데이터 노드로 구성할 때, 프라이머리 샤드(primary shard)와 레플리카 샤드(replica shard)의 수에 따라 검색 성능, 데이터 안정성, 리소스 사용에 차이가 발생합니다. 다음은 primary shard 3, replica shard 1 구성과 primary shard 3, replica shard 3 구성의 차이점을 비교한 것입니다.구성 1: Primary Shard 3, Replica Shard 1프라이머리 샤드: 3개레플리카 샤드: 1개장점데이터 안정성: 각 프라이머리 샤드에 대해 1개의 레플..

Elasticsearch에서 샤드(Shard)는 인덱스를 분할하여 데이터 분산 저장과 병렬 처리를 가능하게 하는 단위입니다. 샤드의 개수가 검색 성능에 미치는 영향은 다양한 요소에 따라 달라질 수 있습니다.샤드가 많을 때의 이점병렬 처리: 더 많은 샤드는 검색 쿼리를 병렬로 처리할 수 있는 기회를 제공합니다. 이는 특히 클러스터 내 여러 노드가 있을 때 검색 성능을 향상시킬 수 있습니다.데이터 분산: 데이터를 더 세분화하여 분산 저장할 수 있으므로, 각 샤드에 저장된 데이터 양이 적어지고 개별 샤드의 검색 속도가 빨라질 수 있습니다.리소스 활용: 클러스터의 리소스를 더 효과적으로 활용할 수 있습니다. 특히 여러 노드에 걸쳐 데이터가 분산될 때, 각 노드의 CPU 및 메모리 사용을 최적화할 수 있습니다.샤..

Elasticsearch 쓰기 작업의 3단계1. 조정 단계(coordination stage)2. 주 샤드 단계(primary stage)요청을 넘겨받은 이후 수행하는 작업들in-sync 복제본마스터 노드가 관리하는 작업을 복제받을 샤드 목록주 샤드는 in-sync 복제본에 병렬적으로 요청을 넘긴다.모든 복제본들이 작업을 성공적으로 수행하고 주 샤드에 응답을 돌려주면 주 샤드가 작업 완료 응답을 보낸다.3. 복제 단계(replica stage)각 in-sync 복제본 샤드는 주 샤드에게 받은 요청을 로컬에서 수행하고 주 샤드에게 작업이 완료됐음을 보고하는 단계→ 종료는 역순이다.최초 요청 받아 전달했던 노드에게 작업 완료 결과를 보내야 조정 단계가 종료된다.메세지 순서의 역전분산 환경에서 여러 작업을 병..

IonQ, 상업적 양자적 이점을 발전시키기 위한 가속화된 로드맵과 새로운 기술적 이정표 공개 메릴랜드주 콜리지파크--(비즈니스 와이어)-- 양자 컴퓨팅 산업의 선두주자인 IonQ(NYSE: IONQ)는 최근 CEO Peter Chapman, 엔지니어링 및 기술 부문 SVP Dean Kassmann, CMO Margaret Arakawa가 진행한 독점 웨비나에서 확장되고 가속화된 2025년 기술적 이정표를 공개했습니다 . IonQ는 고객에게 탁월한 상업적 이점을 제공하는 데 중요한 성능, 확장성 및 엔터프라이즈급 솔루션의 요구 사항을 충족하는 동급 최고의 양자 컴퓨터를 설계하고 구축하는 유일한 양자 컴퓨팅 회사인 이유를 확립했습니다. IonQ의 사장 겸 CEO인 피터 채프먼은 "상업적 이점을 얻기 위해서는..

Anaconda를 사용하여 가상환경을 설치하고 관리하는 과정1. Anaconda 설치Anaconda가 설치되지 않았다면 Anaconda 공식 웹사이트에서 Anaconda 배포판을 다운로드하여 설치하십시오. 설치 과정에서 기본 옵션을 선택하는 것이 일반적입니다.2. Anaconda Prompt 열기Anaconda가 설치된 후, Anaconda Prompt를 엽니다. Windows에서는 시작 메뉴에서 "Anaconda Prompt"를 검색하여 찾을 수 있습니다. MacOS나 Linux 사용자는 터미널을 열고 conda 명령어가 작동하는지 확인하십시오.3. 가상환경 생성가상환경을 생성하려면 conda create 명령어를 사용합니다. 예를 들어, "myenv"라는 이름의 Python 3.8 가상환경을 생성하려..

7월 2일 기사임뱅가드그룹, 양자 컴퓨팅 아이온큐 지분 확대미국 증시전문매체 마켓비트는 2일(현지시각) 세계적인 투자회사 뱅가드그룹(Vanguard Group Inc.)이 양자 컴퓨팅 기업 아이온큐(IonQ, Inc., NYSE:IONQ)의 주식 지분을 1.1% 늘렸다고 미 증권거래위원회(SEC) 자료를 인용해 보도했다. 보도에 따르면 뱅가드 그룹은 지난해 4분기에 아이온큐 주식 19만3924주를 추가 매입해 총 17,906,731주를 보유하게 됐다. 이는 아이온큐 전체 주식의 약 8.60%에 해당하며, 금액으로는 2억 2186만 4000달러에 달한다.  6.3불을 찍고 반등이 나오는 중  이미 손실이 어마어마해서 물타도 티도 안나고 아무튼 상승 추세를 만들어 가는중 김.상이나 다른 경영진이 뒤통수를 치..

검색 과정Elasticsearch 의 검색은 1 Query, 1 Shard, 1 Thread를 바탕으로 이루어짐노드는 샤드를 1개씩 가지고 있다 노드는 4개의 코어를 가지고 있다이 경우 검색 쓰레드 풀에 4개의  검색 Thread를 가지고 있게 된다.  레플리카 샤드의 수에는 trade-off 관계가 있다.레플리카가 많아질 수록 색인 성능은 떨어지고, 읽기 성능은 좋아진다.반대로 레플리카가 적으면 색인 성능은 좋지만, 읽기 성능은 떨어진다.그럼 샤드수를 늘리면 읽기 성능이 좋아니지 많을 수록 좋은거 아니냐..  클러스터 내 너무 많은 수의 샤드가 있는 경우클러스터에 존재하는 모든 샤드는 마스터 노드에서 관리하며, 샤드가 많아질수록 마스터 노드의 부하도 같이 증가이로 인해 마스터 노드의 부하가 증가하면 검..

개발환경MacOsdocker 설치docker-compose.yml# 파일 규격 버전version: "3.1"# 실행하려는 컨테이너들 정의services: # 서비스명 redis_container: # 사용할 이미지 image: redis:latest # 컨테이너명 container_name: redis # 접근 포트 설정(컨테이너 외부:컨테이너 내부) ports: - 6379:6379 # 스토리지 마운트(볼륨) 설정 volumes: - ./redis/data:/data - ./redis/conf/redis.conf:/usr/local/conf/redis.conf # 컨테이너에 docker label을 이용해서 메타데이터 추가 ..

웨비나 이후 주가가 급락하길래 아깝지만 인텔을 팔고 아이온큐로 이동인텔은... 1/3 만남아있는 상태 차트를 보면 너무 아깝다.   아이온큐에 한이 맺혀서 옮기긴 했는데  그림쟁이인 내가 선호하는 차트는 인텔이긴 함..바닥인지 아닌지는 확신할 수 없지만 아이온큐 6불에서는 일단  물좀 타야 할 듯.. 호재도 악재도 없는데 그게 잴  찝찝하다. 1000만원 사기 당한사람이 2000만원 털리고 1억 털리는게 자기가 사기당한것을 인정해버리면 본인이 무너져 버릴까봐그렇게 사기당한 금액이 커지는거라고 한다.  그러니 믿는 수 밖에..