일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | ||||
4 | 5 | 6 | 7 | 8 | 9 | 10 |
11 | 12 | 13 | 14 | 15 | 16 | 17 |
18 | 19 | 20 | 21 | 22 | 23 | 24 |
25 | 26 | 27 | 28 | 29 | 30 | 31 |
- vavr
- file download
- mysql
- Cache
- aggs
- Docker
- aqqle
- Elastic
- Elasticsearch
- Selenium
- Aggregation
- TSLA
- 양자컴퓨터
- 테슬라
- java crawler
- api cache
- 아이온큐
- java
- NORI
- JPA
- Query
- dbeaver
- KNN
- redis
- request cache
- IONQ
- API
- Analyzer
- elasticsearch cache
- ann
- Today
- Total
목록전체 글 (198)
아빠는 개발자
upskyy/bge-m3-korean 이게 가장 좋다고 하니 테스트 해보잣.아까와 동일한 단어 .. 아까라고 한다면 snunlp import torchfrom sentence_transformers import SentenceTransformer, models, utildef load_sentence_model(model_name="upskyy/bge-m3-korean"): # GPU 사용 가능 시 device = "cuda" if torch.cuda.is_available() else "cpu" print(f"Using device: {device}") # 1) Transformer 모듈 생성: tokenizer_args로 use_fast=False 강제 word_embedd..
nlp 환경에 접속conda activate nlp 라이브러리 설치 # 필수 라이브러리 설치pip install torch transformers sentence-transformers 사용 가능한 모델 ID: snunlp/KR-SBERT-V40K-klueNLI-augSTS 이 모델은 “KLUE-NLI” 데이터에 기반해 파인튜닝된 SBERT로, 문장 유사도나 클러스터링 등에 바로 활용 from sentence_transformers import SentenceTransformer, util# 올바른 모델 IDmodel = SentenceTransformer("snunlp/KR-SBERT-V40K-klueNLI-augSTS")sentences = ["문장 A", "문장 B"]# 임베딩 생성 및 유사도 계..
호환성을 고려한 버전이 3.12 라고 하니가상환경을 만들어 보자 .conda create -n nlp python=3.12 -yconda activate nlp# To activate this environment, use## $ conda activate nlp## To deactivate an active environment, use## $ conda deactivate 패키지 설치# PyTorch (또는 TensorFlow) pip install torch # CPU 전용; GPU 쓰면 cuda 버전 명시 # Transformers 핵심 라이브러리 pip install transformers # 전처리·토크나이저 지원 pip install tokeniz..