아빠는 개발자

nori 형태소분석기의 사전파일 테스트 프로젝트 경로 /Users/doo/docker/es8.8.1 프로젝트를 활용할 예정 docker-compose.yml 파일을 열어보면 900gle 에서 쓰고있는 컨테이너들이 잔뜩 들어 있다.. pc 가 성능이 좋았으면 다돌려도 상관없는데.. 내껀 아니라 es, kibana 를 제거한 .yml 파일 생성 docker-compose.yml version: '3.7' services: # The 'setup' service runs a one-off script which initializes the # 'logstash_internal' and 'kibana_system' users inside Elasticsearch with the # values of the pa..

Database 를 조회 하여 json 파일을 만들어 보자 왜만드냐 하면 내 컴터성능이.. 찌글하여.. container 를 여러개 띄우기가 부담스러워서.. MySql 컨테이너는 DB 데이터를 조회할때만 띄우고 json 파일로 만들어서 파일을 색인 하는 방향으로 테스트를 진행 프로젝트 경로로 이동 /Users/doo/project/tf-embeddings/db 가상환경 실행 conda activate doo 파일 실행 python db_select_extract_json.py 결과 파일 생성 db_select_extract_json.py # -*- coding: utf-8 -*- import json import pymysql con = pymysql.connect(host='localhost', use..

ERD ' Entity Relationship Diagram ' ​ 흔히 E-R 다이어그램이라고 ERD 라고 줄여 부르기도 한다. '​존재하고 있는 것(Entity)들의 관계(Relationship)을 나타낸 도표(Diagram)' 이다. workbench 에서 생성된 테이블로 ERD 를 그릴 수 있다. 접속하고 저 집 아이콘은 누르면 다음과 같은 화면이 보이는데 좌측 그림중에 ERD 비슷하게 생긴걸 눌러보자 그럼 Models 라는 타이틀이 나오는데 ' > ' 이렇게 생긴 버튼을 누르며 메뉴 두개가 나온다 Database 에 생성되어 있는 테이블로 ERD를 그릴꺼니까 위에 메뉴 선택 7단계을 거치면 그릴수 있는데 1. Connection Options - Database 접속정보 확인 2. Connect..

EER Diagram goods_text 를 사용하였으나... feature_vector 에서 문제가 발생 array 가 json 으로 파싱이 안된다.. 왜지.. 그래서 json 타입으로 DB 에 넣고 색인시점에 array 로 파싱 테이블 스키마 상품정보 더보기 상품정보 테이블 CREATE TABLE `aqqle_goods` ( `id` bigint NOT NULL AUTO_INCREMENT, `keyword` varchar(200) DEFAULT NULL, `brand` varchar(500) DEFAULT NULL, `category` varchar(2000) DEFAULT NULL, `category1` varchar(200) DEFAULT NULL, `category2` varchar(200) D..

쇼핑 데이터 크롤러를 만들어야겠다. 크롤링 데이터중에 일부를 dense vector 타입으로 변환 후 테이블에 넣는 것 까지의 롤을 가져가는 시스템 우선 크롤링에 필요한 라이브러리의 의존성의부여 받는다. dependencies { implementation project(':common') runtimeOnly 'com.h2database:h2' implementation 'org.springframework.boot:spring-boot-starter-data-jdbc' implementation 'org.springframework.boot:spring-boot-starter-data-jpa' implementation 'org.springframework.boot:spring-boot-starter..

내 로컬 경로 /Users/doo/docker/es7.17 삽질 삽질 삽질을 하다가 version 2 로 겨우 성공 했는데.. 3이랑 뭔차인지 우선 실행 후 구성은 이렇게 구성되는 아래 docker compose yml 파일 뭔 차인지는 모르겠지만 다시 3버전으로 테스트 해봐야겠음. version: "2" services: elasticsearch1: image: docker.elastic.co/elasticsearch/elasticsearch:7.17.5 container_name: elasticsearch1 environment: - cluster.name=docker-cluster - node.name=elasticsearch1 - "ES_JAVA_OPTS=-Xms512m -Xmx512m" - di..

Aqqle - 텍스트 기반의 포털사이트 phase 1 쇼핑데이터 거리기반 장소정보 place

그래.. 맞아..Apple 짝퉁이야..   닉네임도 스티브 스잡, 마이클 던조 하려다가 스티브 스잡 아무튼 Aqqle 는 텍스트기반 포털 사이트의 개인프로젝트  https://github.com/900gle/aqqle GitHub - 900gle/aqqleContribute to 900gle/aqqle development by creating an account on GitHub.github.com 취업용으로 사용할 예정이여서 900gle 보다 빠르게 완성 해야..함..

비동기는 건강에 해롭다.. 컴터가 맛이 갔네.. maven 레포지토리에 가보자 https://mvnrepository.com/search?q=selenium 셀레니움을 써야 하니까 셀레니움 추가 build.gradle dependencies { ... // https://mvnrepository.com/artifact/org.seleniumhq.selenium/selenium-java implementation group: 'org.seleniumhq.selenium', name: 'selenium-java', version: '3.141.0' ... } ThreadPoolTaskExecutor 설정 @Slf4j @Configuration @EnableAsync(proxyTargetClass = true..

k-nearest neighor (kNN) search kNN ( k-nearest neighbor ) 검색은 유사성 메트릭으로 측정된 쿼리 벡터에 가장 가까운 k 개의 벡터를 찾습니다 . kNN의 일반적인 사용 사례는 다음과 같습니다. 자연어 처리(NLP) 알고리즘 기반 관련성 순위 제품 추천 및 추천 엔진 이미지 또는 비디오에 대한 유사성 검색 전제 조건 kNN 검색을 실행하려면 데이터를 의미 있는 벡터 값으로 변환할 수 있어야 합니다. Elasticsearch 외부에서 이러한 벡터를 생성하고 dense_vector 필드 값으로 문서에 추가합니다. 쿼리는 동일한 차원의 벡터로 표시됩니다. 유사성 메트릭을 기반으로 문서의 벡터가 쿼리 벡터에 가까울수록 더 잘 일치하도록 벡터를 디자인합니다. 이 가이드의..