아빠는 개발자

tensorflow embedding A/B 테스트tensorflow embedding 모델을 2가지 방법으로 색인해서 테스트해 본다. A : https://tfhub.dev/google/universal-sentence-encoder-multilingual-large/3"B : https://tfhub.dev/google/universal-sentence-encoder-multilingual/3"위의 두개를 테스트 해보았으나.. 뭐가 낫다고 판단 할 수가 없어 색인 방법으로 테스트를 다시 해 봄 모델은 라지 형님#모델 API https://tfhub.dev/google/universal-sentence-encoder-multilingual-large/3"CASE A상품명(name) 으로 vector 를..

tensorflow embedding A/B 테스트tensorflow embedding 2가지 모델을 2가지 방법으로 색인해서 테스트해 본다.#모델 API A : https://tfhub.dev/google/universal-sentence-encoder-multilingual-large/3"B : https://tfhub.dev/google/universal-sentence-encoder-multilingual/3"공통 :512차원 밀집백터 색인cosineSimilarity 비교 2919개의 상품명, 카테고리 데이터 후보 1  A 모델을 사용하여 name (상품명) 으로 vector 추출       후보 2 B 모델을 사용하여 name (상품명) 으로 vector 추출       후보 3A 모델을 사용..

A,B 테스트에서 승리한 B모듈에 강한 상대가 나타났다 라지형님https://tfhub.dev/google/universal-sentence-encoder-multilingual-large/3 Google | universal-sentence-encoder | KaggleEncoder of greater-than-word length text trained on a variety of data.www.kaggle.com  공정한 심사를 위해 일단 둘다 지우자대결 항목상품명으로 테스트상품명 + 카테고리 테스트상품명 + 카테고리 토큰 테스트 put_products.py# -*- coding: utf-8 -*-import jsonfrom elasticsearch import Elasticsearchfrom e..

Anaconda를 사용하여 가상환경을 설치하고 관리하는 과정1. Anaconda 설치Anaconda가 설치되지 않았다면 Anaconda 공식 웹사이트에서 Anaconda 배포판을 다운로드하여 설치하십시오. 설치 과정에서 기본 옵션을 선택하는 것이 일반적입니다.2. Anaconda Prompt 열기Anaconda가 설치된 후, Anaconda Prompt를 엽니다. Windows에서는 시작 메뉴에서 "Anaconda Prompt"를 검색하여 찾을 수 있습니다. MacOS나 Linux 사용자는 터미널을 열고 conda 명령어가 작동하는지 확인하십시오.3. 가상환경 생성가상환경을 생성하려면 conda create 명령어를 사용합니다. 예를 들어, "myenv"라는 이름의 Python 3.8 가상환경을 생성하려..

파이썬에서는 여러 가지 방법을 사용하여 병렬 처리를 할 수 있습니다. 다음은 파이썬에서의 주요 병렬 처리 방법 몇 가지입니다. threading 모듈: threading 모듈은 스레드를 사용하여 병렬 처리를 제공합니다. 그러나 GIL(Global Interpreter Lock) 때문에 CPU-bound 작업에는 제한적입니다. GIL로 인해 파이썬 인터프리터에서 동시에 실행되는 스레드 수가 제한되기 때문입니다. import threading def worker(): # Your code here threads = [] for i in range(5): t = threading.Thread(target=worker) threads.append(t) t.start() for t in threads: t.joi..

kibana 에서 대시보드를 만들려고 하는데 시계열 데이터를 만들고 싶어서 DB에서 날짜를 임의로 업데이트를 해야겠다. python 에서 몇분전, 몇시간전 이런 식으로 날짜를 계산하고싶은데 datetime 을 활용해보잣. from datetime import datetime now = datetime.now() print("현재 :" , now) 출력 : 현재 : 2024-02-03 18:57:38.572549 timedelta를 사용해서 날짜 계산을 할껀데 import를 수정하고 from datetime import datetime, timedelta 마이크로 세컨드를 계산해보면 before_one_microsecond = now - timedelta(microseconds=1) print("1 mic..

Sql 에서 쿼리를 사용시 query 문 안에 '(작은따옴표), "(큰따옴표)가 들어가면 query 에러가 발생 예) INSERT INTO tbl VALUES('he'llo'), INSERT INTO tbl VALUES("he"llo") single quotation 1. INSERT INTO tbl VALUES('he'llo') - 문자열을 '(작은따옴표)로 감싼 경우 s = input() s = "\\'".join(s.split("'")) # '(작은따옴표)로 분리하고 \\'으로 다시 결합 print(s) 결과 입력 -> h'e'll'o 출력 -> h\'e\'ll\'o double quotation s = input() s = '\\"'.join(s.split('"')) # "(큰따옴표)로 분리하고 ..

Database 를 조회 하여 json 파일을 만들어 보자 왜만드냐 하면 내 컴터성능이.. 찌글하여.. container 를 여러개 띄우기가 부담스러워서.. MySql 컨테이너는 DB 데이터를 조회할때만 띄우고 json 파일로 만들어서 파일을 색인 하는 방향으로 테스트를 진행 프로젝트 경로로 이동 /Users/doo/project/tf-embeddings/db 가상환경 실행 conda activate doo 파일 실행 python db_select_extract_json.py 결과 파일 생성 db_select_extract_json.py # -*- coding: utf-8 -*- import json import pymysql con = pymysql.connect(host='localhost', use..

를 테스트 해보려고 했더니만 tensorflow 버전이 2에서 해야 한다네 버전확인 pip -V pip3 -V pip 20.3b1 from /Library/Python/2.7/site-packages/pip-20.3b1-py2.7.egg/pip (python 2.7) pip 20.2.4 from /Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/site-packages/pip (python 3.7) 흠.. 아나콘다 설치하고 해야겠다 https://ldh-6019.tistory.com/117 아나콘다 설치 https://www.anaconda.com/products/individual Anaconda | Individual Edition An..