아빠는 개발자

EER Diagram goods_text 를 사용하였으나... feature_vector 에서 문제가 발생 array 가 json 으로 파싱이 안된다.. 왜지.. 그래서 json 타입으로 DB 에 넣고 색인시점에 array 로 파싱 테이블 스키마 상품정보 더보기 상품정보 테이블 CREATE TABLE `aqqle_goods` ( `id` bigint NOT NULL AUTO_INCREMENT, `keyword` varchar(200) DEFAULT NULL, `brand` varchar(500) DEFAULT NULL, `category` varchar(2000) DEFAULT NULL, `category1` varchar(200) DEFAULT NULL, `category2` varchar(200) D..

쇼핑 데이터 크롤러를 만들어야겠다. 크롤링 데이터중에 일부를 dense vector 타입으로 변환 후 테이블에 넣는 것 까지의 롤을 가져가는 시스템 우선 크롤링에 필요한 라이브러리의 의존성의부여 받는다. dependencies { implementation project(':common') runtimeOnly 'com.h2database:h2' implementation 'org.springframework.boot:spring-boot-starter-data-jdbc' implementation 'org.springframework.boot:spring-boot-starter-data-jpa' implementation 'org.springframework.boot:spring-boot-starter..

내 로컬 경로 /Users/doo/docker/es7.17 삽질 삽질 삽질을 하다가 version 2 로 겨우 성공 했는데.. 3이랑 뭔차인지 우선 실행 후 구성은 이렇게 구성되는 아래 docker compose yml 파일 뭔 차인지는 모르겠지만 다시 3버전으로 테스트 해봐야겠음. version: "2" services: elasticsearch1: image: docker.elastic.co/elasticsearch/elasticsearch:7.17.5 container_name: elasticsearch1 environment: - cluster.name=docker-cluster - node.name=elasticsearch1 - "ES_JAVA_OPTS=-Xms512m -Xmx512m" - di..

Aqqle - 텍스트 기반의 포털사이트 phase 1 쇼핑데이터 거리기반 장소정보 place

그래.. 맞아..Apple 짝퉁이야..   닉네임도 스티브 스잡, 마이클 던조 하려다가 스티브 스잡 아무튼 Aqqle 는 텍스트기반 포털 사이트의 개인프로젝트  https://github.com/900gle/aqqle GitHub - 900gle/aqqleContribute to 900gle/aqqle development by creating an account on GitHub.github.com 취업용으로 사용할 예정이여서 900gle 보다 빠르게 완성 해야..함..

비동기는 건강에 해롭다.. 컴터가 맛이 갔네.. maven 레포지토리에 가보자 https://mvnrepository.com/search?q=selenium 셀레니움을 써야 하니까 셀레니움 추가 build.gradle dependencies { ... // https://mvnrepository.com/artifact/org.seleniumhq.selenium/selenium-java implementation group: 'org.seleniumhq.selenium', name: 'selenium-java', version: '3.141.0' ... } ThreadPoolTaskExecutor 설정 @Slf4j @Configuration @EnableAsync(proxyTargetClass = true..

k-nearest neighor (kNN) search kNN ( k-nearest neighbor ) 검색은 유사성 메트릭으로 측정된 쿼리 벡터에 가장 가까운 k 개의 벡터를 찾습니다 . kNN의 일반적인 사용 사례는 다음과 같습니다. 자연어 처리(NLP) 알고리즘 기반 관련성 순위 제품 추천 및 추천 엔진 이미지 또는 비디오에 대한 유사성 검색 전제 조건 kNN 검색을 실행하려면 데이터를 의미 있는 벡터 값으로 변환할 수 있어야 합니다. Elasticsearch 외부에서 이러한 벡터를 생성하고 dense_vector 필드 값으로 문서에 추가합니다. 쿼리는 동일한 차원의 벡터로 표시됩니다. 유사성 메트릭을 기반으로 문서의 벡터가 쿼리 벡터에 가까울수록 더 잘 일치하도록 벡터를 디자인합니다. 이 가이드의..

selenium 크롤링 라이브러리 크롬 정보 확인 크롬 정보 크롬 드라이버 다운로드 페이지에 접속해보자 https://chromedriver.chromium.org/downloads ChromeDriver - WebDriver for Chrome - Downloads Current Releases If you are using Chrome version 115 or newer, please consult the Chrome for Testing availability dashboard. This page provides convenient JSON endpoints for specific ChromeDriver version downloading. For older versions of Chrome, p..

Elasticsearch는 스크립트를 최대한 빨리 사용할 수 있도록 최적화 중요한 최적화 중 하나는 스크립트 캐시입니다. 컴파일된 스크립트는 캐시에 저장되므로 해당 스크립트를 참조하는 요청으로 인해 컴파일 페널티가 발생하지 않음 캐시 크기 조정이 중요.. 스크립트 캐시는 사용자가 동시에 액세스해야 하는 모든 스크립트를 저장할 만큼 충분히 커야 함 node status 에서 스크립트 캐시 제거 수가 많고 컴파일 수가 증가하는 경우 캐시가 너무 작은 것 모든 스크립트는 기본적으로 캐시되므로 업데이트가 발생할 때만 다시 컴파일하면 됩니다. 기본적으로 스크립트에는 시간 기반 만료가 없습니다. 설정 을 사용하여 변경할 수 있음 script.cache.expire. script.cache.max_size 설정을 사..

불용어 (stopword) 필터를 사용해 analyzer 에서 불용어를 걸러낼 수는 있지만.. 이 no result 케이스에서 불용어때문에 걸러진건지 실제 true 인 데이터가 없는건지 알아내야 한다.. 왜냐..면 이 케이스에서 확장검색이 들어가야 하는데 이 확장검색이란 놈이 operator 가 or 이기때문에 조합형 불용어 에서는 정밀도가 떨어지는 검색결과가 나오게 되어 이 케이스를 없애달라는.. 원하는건 불용어를 포함한 검색어 일때 no result 처리 주의할점! 은 스크립트를 사용하면 검색속도가 느려질 수 있다. 암튼.. 일단 만들어 보자 es 는 8.8.1 버전에서 키바나와 es 만 실행 #내 로컬 경로 cd /Users/doo/docker/es8.8.1 실행 #-f 옵션으로 파일지정 #-d 백..