아빠는 개발자

selenium 크롤링 라이브러리 크롬 정보 확인 크롬 정보 크롬 드라이버 다운로드 페이지에 접속해보자 https://chromedriver.chromium.org/downloads ChromeDriver - WebDriver for Chrome - Downloads Current Releases If you are using Chrome version 115 or newer, please consult the Chrome for Testing availability dashboard. This page provides convenient JSON endpoints for specific ChromeDriver version downloading. For older versions of Chrome, p..

Elasticsearch는 스크립트를 최대한 빨리 사용할 수 있도록 최적화 중요한 최적화 중 하나는 스크립트 캐시입니다. 컴파일된 스크립트는 캐시에 저장되므로 해당 스크립트를 참조하는 요청으로 인해 컴파일 페널티가 발생하지 않음 캐시 크기 조정이 중요.. 스크립트 캐시는 사용자가 동시에 액세스해야 하는 모든 스크립트를 저장할 만큼 충분히 커야 함 node status 에서 스크립트 캐시 제거 수가 많고 컴파일 수가 증가하는 경우 캐시가 너무 작은 것 모든 스크립트는 기본적으로 캐시되므로 업데이트가 발생할 때만 다시 컴파일하면 됩니다. 기본적으로 스크립트에는 시간 기반 만료가 없습니다. 설정 을 사용하여 변경할 수 있음 script.cache.expire. script.cache.max_size 설정을 사..

불용어 (stopword) 필터를 사용해 analyzer 에서 불용어를 걸러낼 수는 있지만.. 이 no result 케이스에서 불용어때문에 걸러진건지 실제 true 인 데이터가 없는건지 알아내야 한다.. 왜냐..면 이 케이스에서 확장검색이 들어가야 하는데 이 확장검색이란 놈이 operator 가 or 이기때문에 조합형 불용어 에서는 정밀도가 떨어지는 검색결과가 나오게 되어 이 케이스를 없애달라는.. 원하는건 불용어를 포함한 검색어 일때 no result 처리 주의할점! 은 스크립트를 사용하면 검색속도가 느려질 수 있다. 암튼.. 일단 만들어 보자 es 는 8.8.1 버전에서 키바나와 es 만 실행 #내 로컬 경로 cd /Users/doo/docker/es8.8.1 실행 #-f 옵션으로 파일지정 #-d 백..

Java의 CompletableFuture에서 get()과 join() 메소드는 모두 완료된 CompletableFuture의 결과를 반환 get() join() interrupt O X interrupt 발생 InterruptedException 인터럽트 차단 Exception ExecutionException UncheckedExecutionException get() 메소드는 java.util.concurrent.Future 인터페이스에 정의되어 있으므로 이 인터페이스를 구현하는 다른 클래스와 호환 가능하지만, join() 메소드는 CompletableFuture 클래스에만 특화되어 있기 때문에 CompletableFuture와만 사용할 수 있다 일반적으로 CompletableFuture을 다룰 때..

Elasticsearch aggregation 을 테스트 해보려고 한다. 그중에서도 Pipeline Aggregations 우선 내 신상 ES 로 이동 /Users/doo/docker/es8.8.1 실행해보자 (base) ➜ es8.8.1 docker compose up -d --build docker ps -a 우선 키바나를 접속해보자 http://localhost:5601/app/home#/ 오케이 인덱스는 언제더라.. 어젠가 그젠가 만들어 놓은 인덱스 820만건의 location 정보 mapping 구조 더보기 더보기 얼레 timestamp 가 비어있네 ingest pipeline 을 만들어서 timestamp 를 찍어보잣 https://ldh-6019.tistory.com/403 [es8] Ela..

900gle 의 개발 환경을 es8 로 바꾸고 나서 부터 문제가 발생했다. high level client 의 버전은 7.17 버전이후 8버전이 알파상태라 써도 되나 .. 싶은.. maven repository 900gle 이 맛이 갔는데 이게 다 업데이트 때문이라는... es8.8.1 도 카피를 떳더니 충돌나서 데몬이 올라오지도 않고 암튼 ann 쿼리로 900gle 을 업데이트 하려고 했는데 이 쿼리가 es 8 부터 실행되는... 8.6 이상이였나.. 아무튼 7.15 를 8.8.1 로 업데이트 하니.. 끝.. (해결이 아닌 맛이감) 문제의 쿼리 { "query": { "match_all": {} }, "knn": { "field": "name_vector", "query_vector": ${query_..

nori 형태소분석기의 사전파일 테스트 프로젝트 경로 /Users/doo/docker/es8.8.1 프로젝트를 활용할 예정 docker-compose.yml 파일을 열어보면 900gle 에서 쓰고있는 컨테이너들이 잔뜩 들어 있다.. pc 가 성능이 좋았으면 다돌려도 상관없는데.. 내껀 아니라 es, kibana 를 제거한 .yml 파일 생성 docker-compose.yml version: '3.7' services: # The 'setup' service runs a one-off script which initializes the # 'logstash_internal' and 'kibana_system' users inside Elasticsearch with the # values of the pa..

#mysql 이미지검색 docker search mysql docker pull mysql/mysql-server:latest docker run --name=mysql -p 3306:3306 -d mysql/mysql-server:latest docker logs mysql log 에서 root 패스워드를 찾아보자 docker logs mysql 2>&1 | grep GENERATED 아래와 같이 한줄 뜨는데 저것이 root 패스워드 [Entrypoint] GENERATED ROOT PASSWORD: -3h;YR@Bs3m+UvB4jURIc0BkIt4 docker exec -it mysql mysql -uroot -p ALTER USER 'root'@'localhost' IDENTIFIED BY 'doo..

kNN ( k-nearest neighbor ) 검색은 유사성 메트릭으로 측정된 쿼리 벡터에 가장 가까운 k 개의 벡터를 찾습니다 . ANN ( approximate nearest neighbor search ) KD-트리와 같은 저차원 벡터에는 kNN에 대한 잘 확립된 데이터 구조가 있습니다. 실제로 Elasticsearch는 KD-트리를 통합하여 지리 공간 및 숫자 데이터에 대한 검색을 지원합니다. 그러나 텍스트 및 이미지에 대한 최신 임베딩 모델은 일반적으로 100 - 1000개 또는 그 이상의 요소로 구성된 고차원 벡터를 생성합니다. 이러한 벡터 표현은 고차원에서 가장 가까운 이웃을 효율적으로 찾는 것이 매우 어렵기 때문에 고유한 문제를 제시합니다. 이러한 어려움에 직면한 가장 가까운 이웃 알고리..

한개의 컬럼에 UNIQUE 설정 @Column(name="column" , unique=true) long column 두 개 이상 컬럼을 묶어 UNIQUE 설정 @Table 속성 uniqueConstraints 사용 @Entity @Table( name="keywords", uniqueConstraints={ @UniqueConstraint( name={"contstraintName"} columnNames={"keyword", "use_yn"} ) } ) @Data public class Entity{ @Column(name="keyword") String keyword; @Column(name="use_yn") String use_yn; }