아빠는 개발자

몰라도 상관없지만 알아두면 요긴한 기본상식elasticsearch 의 search api  response 구조 { "took": 5, // 검색에 소요된 시간 (밀리초 단위) "timed_out": false, // 타임아웃 여부 "_shards": { "total": 5, // 전체 샤드 수 "successful": 5, // 성공적으로 처리된 샤드 수 "skipped": 0, // 건너뛴 샤드 수 "failed": 0 // 실패한 샤드 수 }, "hits": { "total": 1, ..

nested 와 object 구조에서 aggregation 테스트를 해보자 동일한 데이터를 색인하는데 nested 구조에서 index의 크기가 증가하고 docs 가 늘어난다.   100만개 색인..  목표는 1000 만개였으나 데이터를 랜덤 숫자로 생성하는데도 시간이 꽤 오래 걸렸다..그래서 중간에 멈추고 리프레시 실행     인덱스 생성 쿼리nested index{ "settings": { "number_of_shards": {SHARD_SIZE}, "number_of_replicas": 0 }, "mappings": { "dynamic": "true", "_source": { "enabled": "true" }, "properties": { "n..

음... 저번에 작성중이던 글이 싹 날아갔네 ..초심으로 돌아가서 다시 작성해보잣... 상품은 n 개의 promotion 에 등록될 수 있고  promotion 에는 m 개의 theme 가 등록될수 있다. 결론은 하나의 상품은 n x m 의 개의  promotion theme 에  등록될 수 있는것이다.  문제 1상품이 등록된 유효한 테마의 No 를 구해야 한다. 해결방법1. promotion_theme 번호를 연결해서 배열로 색인 후에 .. 후처리?..  머.. 후처리가 들어간다면 안되는게 어딨겠나..api 의 응답속도나 이것저것 했을때 후처리를 좋아하진 않는 편이라 Pass  2. object 구조로 promos.promo 와 promos.theme 를 색인해서 필터를 promo 로 걸고 aggreg..

각설하고 퀵하게 가보자 우선 디펜던시 (DB, JPA) implementation 'org.springframework.boot:spring-boot-starter-data-jdbc' implementation 'org.springframework.boot:spring-boot-starter-data-jpa' runtimeOnly 'mysql:mysql-connector-java' 테이블은 이렇게 생겼고 테이블 명은 keywords 그리곤 엔티티 package com.doo.aqqle.domain; import lombok.*; import javax.persistence.*; @NoArgsConstructor(access = AccessLevel.PROTECTED) @Getter @Setter @Ent..

내가 .. 물려있는 테슬라 LSTM 으로 주가 예측을 해서 탈출해보자 tensorflow 1 버전으로 작업된 내용이 있긴하다. 내 PC에 깔린게 2다 보니.. 테슬라의 주가는 야후 finance 에서 historical Data 에서 받으면 된다. 날짜 범위를 Max 로 넣고 다운로드 import numpy as np import pandas as pd import matplotlib.pyplot as plt from sklearn.preprocessing import MinMaxScaler from tensorflow.keras.models import Sequential from tensorflow.keras.layers import LSTM, Dense, Dropout # Load your stoc..

인덱스 복사 # -*- coding: utf-8 -*- import time import json import datetime as dt from datetime import datetime from elasticsearch import Elasticsearch from elasticsearch.helpers import bulk import requests import ssl import urllib3 from time import sleep from urllib import parse from concurrent.futures import ThreadPoolExecutor, ProcessPoolExecutor print(ssl.OPENSSL_VERSION) urllib3.disable_warnings..

소스트리에서 프로젝트를 검색해보자 마우스 더블클릭 혹은 우클릭으로 체크아웃을 통해 브랜치를 체크아웃 하고 현재 브랜치를 선택한다. 우측으로 쭈~~~ 욱 가보면 커밋내역이 있는데 해당커밋을 선택하고 마우스 우클릭을 해보면 다음과 같은 메뉴가 나온다 여기서 커밋 되돌리기를 선택하면 해당 커밋이 날라감... 수정내역을 푸시해주면 끗

EventListener 란? Java의 @EventListener은 Spring Framework에서 사용되는 애노테이션입니다. Spring Framework은 이벤트 기반 아키텍처를 지원하며, @EventListener은 이벤트를 처리하는 메서드를 표시하는 데 사용됩니다. @EventListener 애노테이션을 사용하면 이벤트를 수신하고 처리하는 메서드를 정의할 수 있습니다. 이 메서드는 특정 이벤트가 발생할 때 호출됩니다. 예를 들어, Spring 애플리케이션에서 이벤트가 발생하고 해당 이벤트를 처리하려는 경우 다음과 같이 @EventListener을 사용할 수 있습니다 라고 한다. PotalEventHandler를 @Component 설정해주고 process 에 EventListener 어노테이션..

신조어.. 물고기 아님 먹는거 아님 우리회사에서 불사의 프로젝트로 영생을 누리고 있는 프로젝트 상품명에서 키워드를 조회해서 신조어로 등록될 만한 단어들을 선별해야 하는데 ngram 으로 Mysql DB 조회를 하려고 했으나 DBA 이방지의 반대가 심해서 다른방법을 찾는 중.. 배치시간 12시간에서 1시간 내 실행으로 변경해야지만 운영환경에 올라갈 수 있다. 어뷰징 키워드 제거, 중복제거를 했으나.. 3시간 이상 소요되는 배치 데이터를 살펴보니 고구마맛 200ml, 고구마맛 300ml, 고구마맛 500ml 이런식으로 옵션상품들이 많이 있는데 이것들을 모두 조회하는 것은 리소스 낭비이고 배치시간이 길어지는 이유이다. 그래서 이것들은 한번만 조회 하는 방법으로 변경하려고 한다. 근데 이것을 어떻게 구분한담....

파이썬에서는 여러 가지 방법을 사용하여 병렬 처리를 할 수 있습니다. 다음은 파이썬에서의 주요 병렬 처리 방법 몇 가지입니다. threading 모듈: threading 모듈은 스레드를 사용하여 병렬 처리를 제공합니다. 그러나 GIL(Global Interpreter Lock) 때문에 CPU-bound 작업에는 제한적입니다. GIL로 인해 파이썬 인터프리터에서 동시에 실행되는 스레드 수가 제한되기 때문입니다. import threading def worker(): # Your code here threads = [] for i in range(5): t = threading.Thread(target=worker) threads.append(t) t.start() for t in threads: t.joi..