아빠는 개발자

이론과 실제가 달라서.. 당황스럽다 이게.. 말을 안듣는다..테스트 방법의 문제인가.. 아무튼..   테스트 Api 를 로컬에 띄워놓고 테스트를 진행하면..  elasticsearch data node 트래픽이 잘 안들어가는 듯한..내 pc 에서 나가는 패킷이 나가다가 줄어드는데.. 음.. 원인을  누구한테 물어봐야 할지..네트워크 대역폭이 문제인가.. 아무튼 테스트 했는데 원하는 그림이 나오긴했다.  샤드 구성을 변경해서 data node 재부팅샤드 맞춤 _cluster/reroute테스트19:00 이후 Auto test 실행 Shard 구성AS-IS: 6서버 1노드 1샤드 (primary 3, replica 1) 각 데이터 노드별로 1개의 샤드 구성 - 운영과 동일한 구조TO-BE: 6서버 1노드 1..

내 pc 에 docker 로 mysql 을 설치하고 테스트를 하려고 하는데 DB connection 이 안된다.  개발환경MacOSMysql Public key retrieval is not allowed 이 오류를 해결하는 방법1. Public Key Retrieval 허용가장 간단한 방법은 연결 설정에서 공개 키 검색을 허용하는 것입니다. 이를 위해서는 연결 문자열에 특정 매개변수를 추가해야 합니다.DBeaver에서의 설정 방법: DBeaver를 열고 문제를 일으키는 데이터베이스 연결로 이동합니다. (우클릭)Driver Properties 또는 Connection Settings 메뉴로 들어갑니다."allowPublicKeyRetrieval"이라는 옵션을 찾아 값으로 "true"를 설정합니다. 만약 ..

일단 테이블을 만들자.. 만들고 나서 생각하자 어차피 수정할꺼니까 CREATE TABLE `users` ( `id` bigint NOT NULL AUTO_INCREMENT, `user_id` varchar(200) NOT NULL, `name` varchar(200) NOT NULL, `use_yn` enum('Y','N') NOT NULL DEFAULT 'Y', `created_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP, `updated_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP, PRIMARY KEY (`id`)) ENGINE=InnoDB AU..

개발잡부에서  쓴 기억이 있는데 2년 전이라 기억이 가물 가물.. 일단 작업은 해놨으니 테스트 부터 먼저 현재 Docker에 존재하는 네트워크 목록을 확인docker network ls  혹시나 남아있다면 테스트를 위해 삭제를 하는것도 괜차늠docker network rm docker network rm kafka-network 작업 파일docker-compose.ymlversion: '3.6'services: zookeeper1: container_name: zookeeper1 image: wurstmeister/zookeeper:3.4.6 volumes: - "./zookeeper/data:/data" - "./zookeeper/logs:/datalog" po..

양자 컴퓨팅 개발기업 아이온큐(IONQ)는 미국 국방부 (DOD)를 위한 최초의 네트워크형 양자 컴퓨팅 시스템을 설계하는 계약을 수주했다. 아직도 7불이라니... 여기에 물린지 1년이 넘었는데  이 계약은 미국 정보 보안 응용 연구소(ARLIS)와의 경쟁 입찰을 통해 이루어졌다는 설명이다. 프로젝트의 첫 번째 단계는 570만 달러 규모로, 양자 시스템의 설계 단계에 초점을 맞출 예정이다.향후 단계에는 이 시스템의 구축, 납품 및 유지 보수가 포함될 예정이며, 아직 계약이 체결되지는 않았다.이 프로젝트를 통해 ARLIS는 블라인드 양자 컴퓨팅 프로토콜을 포함한 다중 사용자 양자 계산의 사이버 보안에 대한 실질적인 연구를 수행할 예정이다. 이 연구는 공군 장관 개념, 개발 및 관리 사무소의 지원을 받는다.A..

텍스트, 이미지, 이벤트 등 모든 종류의 콘텐츠를 벡터로 나타낼 수 있는 차세대 기계 학습 모델 덕분에 벡터 검색에 대한 관심이 급증했습니다. 종종 "임베딩 모델"이라고 하는 이러한 강력한 표현은 표면 수준 특성을 넘어서는 방식으로 두 콘텐츠 간의 유사성을 포착 할 수 있습니다. 뭐 이렇다고 한다. 7버전에서도 dense_vector 타입으로 색인하고 cosine similarity 등 kNN 검색이 가능한데.. 8의 특징이 ANN 검색이라고 하니 얼마나 좋아졌는지 테스트 해봐야겠다 k-nearest neighbor (kNN) search algorithms 은 쿼리 벡터와 가장 유사한 데이터세트에서 벡터를 찾습니다. 이러한 벡터 표현과 함께 kNN 검색은 검색에 대한 흥미로운 가능성을 열어준다고 한다 ..

이게 나를 요즘 .. 힘들게 한다...       데이터 노드의 구성은 1서버 1노드 1샤드  primary 3 , replica 1 어느부분이 문제를 일으키는지는 알고 있다.  제거 하고 다시 실행, 하지만 이 로직을 뺄수는 없다..  문제를 일으키는 로직은 검색결과에서 집계를 통해 필터를 만들어 내는 로직 이 로직을 파보니 query_cache 가 특정샤드에서만 상대적으로 적게 생성이 된다.  집계를 통한 필터 생성이여서 request cache 가 먹혀야 하는 구조였는데  아무튼 마지막 구간에서 엄청나게 안정적인 흐름을 보이는..  그럼 다시 널뛰는 cpu 로 만들어 놓고    해결방법try 1- cpu 는 트래픽이 적을땐 저렇게 하나만 튀는 현상이 없었다. redis cache 를 사용해서 트레픽..

난 샤드 크기와 도큐먼트 사이즈가 알고싶다.  kibana 명령어 GET /_cat/shards?v&h=index,shard,prirep,state,docs,store,node 결과

뭐 대충 이런느낌 이랄까트래픽이 왔을때  8core 16Gb 로 띄운 X 6대의 data node prd data copy index 0710 (운영데이터) alias 변경local api (Local to ES)200건/초중복제거키워드 (10,000 x 2)sleep 0.3초최초 1회 es cache 초기화 후 실행이렇게 테스트 하면 저런 결과가 나온다. 샤드 구성도 맞춰놓고  샤드 구성 변경 reroute api POST _cluster/reroute{ "commands": [ { "move": { "index": "prd-ds-item-20240710", "shard": 1, "from_node": "node-qa-totalsearch-data-..

Elasticsearch에서 검색 쿼리가 유입되었을 때, 샤드 검색 순서는 다음과 같은 단계로 진행됩니다:쿼리 수신: 클라이언트가 검색 쿼리를 보내면, 해당 쿼리는 클러스터의 코디네이터 노드(요청을 받은 노드)로 전달됩니다. 이 노드는 검색 요청을 처리할 책임을 집니다.샤드 선택: 코디네이터 노드는 검색해야 할 샤드를 선택합니다. Elasticsearch는 프라이머리 샤드와 레플리카 샤드 중 하나를 선택하여 검색을 수행할 수 있습니다. 기본적으로 Elasticsearch는 프라이머리 샤드와 레플리카 샤드 간에 부하를 균등하게 분산시키기 위해 라운드 로빈 방식으로 샤드를 선택합니다.쿼리 분산: 코디네이터 노드는 검색 쿼리를 선택된 샤드로 분산시킵니다. 이 샤드는 프라이머리 샤드일 수도 있고, 레플리카 샤드..