일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | ||||
4 | 5 | 6 | 7 | 8 | 9 | 10 |
11 | 12 | 13 | 14 | 15 | 16 | 17 |
18 | 19 | 20 | 21 | 22 | 23 | 24 |
25 | 26 | 27 | 28 | 29 | 30 | 31 |
- request cache
- Docker
- TSLA
- aqqle
- IONQ
- java crawler
- mysql
- 테슬라
- Aggregation
- Elastic
- redis
- elasticsearch cache
- file download
- Query
- JPA
- KNN
- vavr
- 아이온큐
- 양자컴퓨터
- ann
- NORI
- Analyzer
- API
- dbeaver
- Cache
- aggs
- Selenium
- api cache
- Elasticsearch
- java
- Today
- Total
목록2024/08 (18)
아빠는 개발자
내 pc 에 docker 로 mysql 을 설치하고 테스트를 하려고 하는데 DB connection 이 안된다. 개발환경MacOSMysql Public key retrieval is not allowed 이 오류를 해결하는 방법1. Public Key Retrieval 허용가장 간단한 방법은 연결 설정에서 공개 키 검색을 허용하는 것입니다. 이를 위해서는 연결 문자열에 특정 매개변수를 추가해야 합니다.DBeaver에서의 설정 방법: DBeaver를 열고 문제를 일으키는 데이터베이스 연결로 이동합니다. (우클릭)Driver Properties 또는 Connection Settings 메뉴로 들어갑니다."allowPublicKeyRetrieval"이라는 옵션을 찾아 값으로 "true"를 설정합니다. 만약 ..
일단 테이블을 만들자.. 만들고 나서 생각하자 어차피 수정할꺼니까 CREATE TABLE `users` ( `id` bigint NOT NULL AUTO_INCREMENT, `user_id` varchar(200) NOT NULL, `name` varchar(200) NOT NULL, `use_yn` enum('Y','N') NOT NULL DEFAULT 'Y', `created_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP, `updated_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP, PRIMARY KEY (`id`)) ENGINE=InnoDB AU..
개발잡부에서 쓴 기억이 있는데 2년 전이라 기억이 가물 가물.. 일단 작업은 해놨으니 테스트 부터 먼저 현재 Docker에 존재하는 네트워크 목록을 확인docker network ls 혹시나 남아있다면 테스트를 위해 삭제를 하는것도 괜차늠docker network rm docker network rm kafka-network 작업 파일docker-compose.ymlversion: '3.6'services: zookeeper1: container_name: zookeeper1 image: wurstmeister/zookeeper:3.4.6 volumes: - "./zookeeper/data:/data" - "./zookeeper/logs:/datalog" po..
양자 컴퓨팅 개발기업 아이온큐(IONQ)는 미국 국방부 (DOD)를 위한 최초의 네트워크형 양자 컴퓨팅 시스템을 설계하는 계약을 수주했다. 아직도 7불이라니... 여기에 물린지 1년이 넘었는데 이 계약은 미국 정보 보안 응용 연구소(ARLIS)와의 경쟁 입찰을 통해 이루어졌다는 설명이다. 프로젝트의 첫 번째 단계는 570만 달러 규모로, 양자 시스템의 설계 단계에 초점을 맞출 예정이다.향후 단계에는 이 시스템의 구축, 납품 및 유지 보수가 포함될 예정이며, 아직 계약이 체결되지는 않았다.이 프로젝트를 통해 ARLIS는 블라인드 양자 컴퓨팅 프로토콜을 포함한 다중 사용자 양자 계산의 사이버 보안에 대한 실질적인 연구를 수행할 예정이다. 이 연구는 공군 장관 개념, 개발 및 관리 사무소의 지원을 받는다.A..
텍스트, 이미지, 이벤트 등 모든 종류의 콘텐츠를 벡터로 나타낼 수 있는 차세대 기계 학습 모델 덕분에 벡터 검색에 대한 관심이 급증했습니다. 종종 "임베딩 모델"이라고 하는 이러한 강력한 표현은 표면 수준 특성을 넘어서는 방식으로 두 콘텐츠 간의 유사성을 포착 할 수 있습니다. 뭐 이렇다고 한다. 7버전에서도 dense_vector 타입으로 색인하고 cosine similarity 등 kNN 검색이 가능한데.. 8의 특징이 ANN 검색이라고 하니 얼마나 좋아졌는지 테스트 해봐야겠다 k-nearest neighbor (kNN) search algorithms 은 쿼리 벡터와 가장 유사한 데이터세트에서 벡터를 찾습니다. 이러한 벡터 표현과 함께 kNN 검색은 검색에 대한 흥미로운 가능성을 열어준다고 한다 ..
이게 나를 요즘 .. 힘들게 한다... 데이터 노드의 구성은 1서버 1노드 1샤드 primary 3 , replica 1 어느부분이 문제를 일으키는지는 알고 있다. 제거 하고 다시 실행, 하지만 이 로직을 뺄수는 없다.. 문제를 일으키는 로직은 검색결과에서 집계를 통해 필터를 만들어 내는 로직 이 로직을 파보니 query_cache 가 특정샤드에서만 상대적으로 적게 생성이 된다. 집계를 통한 필터 생성이여서 request cache 가 먹혀야 하는 구조였는데 아무튼 마지막 구간에서 엄청나게 안정적인 흐름을 보이는.. 그럼 다시 널뛰는 cpu 로 만들어 놓고 해결방법try 1- cpu 는 트래픽이 적을땐 저렇게 하나만 튀는 현상이 없었다. redis cache 를 사용해서 트레픽..
난 샤드 크기와 도큐먼트 사이즈가 알고싶다. kibana 명령어 GET /_cat/shards?v&h=index,shard,prirep,state,docs,store,node 결과
뭐 대충 이런느낌 이랄까트래픽이 왔을때 8core 16Gb 로 띄운 X 6대의 data node prd data copy index 0710 (운영데이터) alias 변경local api (Local to ES)200건/초중복제거키워드 (10,000 x 2)sleep 0.3초최초 1회 es cache 초기화 후 실행이렇게 테스트 하면 저런 결과가 나온다. 샤드 구성도 맞춰놓고 샤드 구성 변경 reroute api POST _cluster/reroute{ "commands": [ { "move": { "index": "prd-ds-item-20240710", "shard": 1, "from_node": "node-qa-totalsearch-data-..