아빠는 개발자

apple API 대략적인 구조는 이렇게.. 가져가볼...

Aggregation 의 성능을 높이고 싶을때 시도해 보면 좋은 방법이 될꺼 같은데.. 아무튼 테스트를 해보자일단 인덱스의 맵핑 구조는 아래와 같다.  포인트는             "city": "Michigan",            "country_code": "US",            "country": "America/Detroit",3개의 정보가 단일필드, place 하위의 object, 그리고 그 obejct 하위의 object 로 3가지 색인후 집계 테스트를 진행해 본다.  { "settings": { "number_of_shards": 1, "number_of_replicas": 0 }, "mappings": { "dynamic": "true", "_sour..

tensorflow embedding A/B 테스트tensorflow embedding 모델을 2가지 방법으로 색인해서 테스트해 본다. A : https://tfhub.dev/google/universal-sentence-encoder-multilingual-large/3"B : https://tfhub.dev/google/universal-sentence-encoder-multilingual/3"위의 두개를 테스트 해보았으나.. 뭐가 낫다고 판단 할 수가 없어 색인 방법으로 테스트를 다시 해 봄 모델은 라지 형님#모델 API https://tfhub.dev/google/universal-sentence-encoder-multilingual-large/3"CASE A상품명(name) 으로 vector 를..

tensorflow embedding A/B 테스트tensorflow embedding 2가지 모델을 2가지 방법으로 색인해서 테스트해 본다.#모델 API A : https://tfhub.dev/google/universal-sentence-encoder-multilingual-large/3"B : https://tfhub.dev/google/universal-sentence-encoder-multilingual/3"공통 :512차원 밀집백터 색인cosineSimilarity 비교 2919개의 상품명, 카테고리 데이터 후보 1  A 모델을 사용하여 name (상품명) 으로 vector 추출       후보 2 B 모델을 사용하여 name (상품명) 으로 vector 추출       후보 3A 모델을 사용..

A,B 테스트에서 승리한 B모듈에 강한 상대가 나타났다 라지형님https://tfhub.dev/google/universal-sentence-encoder-multilingual-large/3 Google | universal-sentence-encoder | KaggleEncoder of greater-than-word length text trained on a variety of data.www.kaggle.com  공정한 심사를 위해 일단 둘다 지우자대결 항목상품명으로 테스트상품명 + 카테고리 테스트상품명 + 카테고리 토큰 테스트 put_products.py# -*- coding: utf-8 -*-import jsonfrom elasticsearch import Elasticsearchfrom e..

elastic stack 8.4.1 을 설치 후 kibana maps 가 있길래 한번 건들여봄국가별 ip 와 위도 경도 정보가 있는 파일을 ES에 색인하고 maps 를 실행시켜서 확인해보았다.  색인 구조를 가지고 있는 index.json 파일 나중에 아이피도 테스트 해봐야 하니까 ip 정보는 ip type 타입으로 맵핑, location 정보는 geo_point 타입으로 맵핑 나머지는 주소정보니까 대충 keyword 타입으로 맵핑{ "settings": { "number_of_shards": 2, "number_of_replicas": 0 }, "mappings": { "dynamic": "true", "_source": { "enabled": "true" },..

Elasticsearch에서 데이터 노드가 6대일 때, primary shard와 replica의 설정이 성능에 미치는 영향주된 차이점은 읽기와 쓰기 성능, 그리고 시스템의 가용성 및 복구 능력 주어진 시나리오에서 primary shard가 3개이고 replica가 각각 1과 3인 두 설정을 비교해 보잣1. Primary Shard: 3, Replica: 1구성:총 샤드 수 = Primary Shard (3) + Replica Shard (3) = 6개 샤드.각 노드에 하나의 샤드가 배치될 수 있으므로, 모든 노드가 샤드를 하나씩 가지게 됨이는 3개의 primary shard에 대해 각각 1개의 replica shard를 가지므로, 6개의 데이터 노드에 분산성능:쓰기 성능: 쓰기 작업은 primary s..

IonQ, 스위스에 첫 해외 이온 트랩 공급, EMEA를 위한 양자 혁신 허브 개발 진행 (2024년 8월 13일)IonQ는 양자 컴퓨터의 핵심인 이온 트랩을 QuantumBasel에 제공합니다.  메릴랜드주 콜리지파크--(비즈니스 와이어)-- 양자 컴퓨팅 산업의 선두주자인 IonQ(NYSE: IONQ)가 오늘 유럽 양자 데이터 센터 인 QuantumBasel에 혁신적인 이온 트랩을 공급한다고 발표했습니다. 이 공급은 회사의 가장 강력하고 확장 가능한 시스템인 IonQ Forte Enterprise의 제조에 있어 중요한 이정표로, 35개의 알고리즘 큐비트(#AQ)로 확장되고 340억 개 이상의 다양한 가능성을 동시에 고려할 수 있습니다.이온트랩 사진 (Image courtesy of IonQ)유럽 ​​기..

아이온큐 실적 발표  요약하면 이렇다고 함.  잘하고 있는 것 처럼 보인다..  하지만 주가가 아주 죽갔네 재무 하이라이트IonQ는 2분기 동안 1,140만 달러의 매출을 기록했으며, 이는 이전에 제공된 범위인 760만 달러에서 920만 달러를 상회하며, 전년도의 550만 달러와 비교했을 때 106%의 성장을 나타냅니다.IonQ는 2분기 동안 900만 달러의 신규 예약을 달성했습니다.현금, 현금성 자산 및 투자액은 2024년 6월 30일 기준으로 4억 200만 달러였습니다.순손실은 3,760만 달러였으며, 조정된 EBITDA 손실은 2,370만 달러였습니다.* 조정된 EBITDA에는 IonQ의 워런트 부채의 공정 가치 변동과 관련된 660만 달러의 비현금 이익이 제외됩니다.*조정된 EBITDA는 비-GA..

이론과 실제가 달라서.. 당황스럽다 이게.. 말을 안듣는다..테스트 방법의 문제인가.. 아무튼..   테스트 Api 를 로컬에 띄워놓고 테스트를 진행하면..  elasticsearch data node 트래픽이 잘 안들어가는 듯한..내 pc 에서 나가는 패킷이 나가다가 줄어드는데.. 음.. 원인을  누구한테 물어봐야 할지..네트워크 대역폭이 문제인가.. 아무튼 테스트 했는데 원하는 그림이 나오긴했다.  샤드 구성을 변경해서 data node 재부팅샤드 맞춤 _cluster/reroute테스트19:00 이후 Auto test 실행 Shard 구성AS-IS: 6서버 1노드 1샤드 (primary 3, replica 1) 각 데이터 노드별로 1개의 샤드 구성 - 운영과 동일한 구조TO-BE: 6서버 1노드 1..