아빠는 개발자

-- shop.stock definitionCREATE TABLE `goods_tmon` ( `id` bigint NOT NULL AUTO_INCREMENT, `keyword` varchar(200) DEFAULT NULL, `name` varchar(500) NOT NULL, `price` bigint NOT NULL, `weight` float NOT NULL, `popular` float NOT NULL, `image` varchar(400) DEFAULT NULL, `feature_vector` text NOT NULL, `type` varchar(50) NOT NULL, `created_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP,..

1. MySQL 파티셔닝(Partitioning)파티셔닝은 테이블을 작은 조각으로 나누는 기법으로, MySQL에서는 테이블을 파티션하는 방식으로 데이터를 더 효과적으로 처리할 수 있습니다. MySQL에서 지원하는 파티셔닝 방법은 다음과 같습니다.RANGE 파티셔닝: 지정된 범위에 따라 데이터를 나눕니다.LIST 파티셔닝: 지정된 값 목록에 따라 데이터를 나눕니다.HASH 파티셔닝: 해시 함수를 사용하여 데이터를 나눕니다.KEY 파티셔닝: MySQL에서 제공하는 내부 키 해시 함수를 사용하여 파티셔닝을 수행합니다.파티셔닝 테이블 생성 예제 CREATE TABLE orders ( id INT, order_date DATE, amount DECIMAL(10,2), PRIMARY KEY (..

IonQ - IonQ Announces Largest 2024 U.S. Quantum Contract Award of $54.5M with United States Air Force Research Lab 계약소식이 있던날 주가는 22% 상승했다. 그 동안 지켜봐온 입장에서 이런 경우 경영진이 주식을 팔아먹거나 없던 악재가 튀어나오는 뒤통수를 쳤는데 종까까진 무사히 안착하는  상승 피로도와 여기서 더 오르면 과매수 구간으로 진입하니까 RSI 를 식혀줄꺼라고 가정한다면물려도 상관없는 가격대인 8.6~9.2 정도 선에서 매수 포지션.. 전체 물량의 5% ~ 10% 만 4848 하면서 간을 봐야겠다.  IONQ Inc, 미 공군 연구소와 2024년 최대 규모 미국 양자 계약 5,450만 달러 체결 발표 이게 ..

버전확인SELECT VERSION();    병렬 처리 설정 확인하는 일반 방법MySQL 서버의 병렬 처리 옵션을 전반적으로 확인하려면 SHOW VARIABLES 명령을 사용하여 관련 변수를 확인할 수 있습니다. SHOW VARIABLES LIKE '%parallel%'; 이 명령어는 병렬 처리와 관련된 모든 설정 변수를 확인하는 방법   아래는 파이썬을 사용해 MySQL에서 병렬로 SELECT 쿼리를 실행하는 간단한 코드입니다. Python의 concurrent.futures.ThreadPoolExecutor를 사용해 여러 스레드에서 동시에 SELECT 쿼리를 수행할 수 있습니다. import mysql.connectorfrom concurrent.futures import ThreadPoolExecu..

스레드 최적화 테스트를 해보자일단 내 mac 은 8core 16GB data 는 38,774 건 데이터 전체 카운트를 구해서 paging 으로 나눠서 병렬 처리 할껀데.. order by 가 들어가서 테스트에서만 사용하고 실전에선.. 비추 runner 에서 실행하는 메소드package com.doo.aqqle.service;import com.doo.aqqle.annotation.Timer;import com.doo.aqqle.repository.StockDataRepository;import com.doo.aqqle.repository.StockRepository;import lombok.extern.slf4j.Slf4j;import org.apache.tomcat.util.http.fileupload..

멀쩡하던 배치가 느려졌다. 것도.. 한 5-6배? ㅋㅋㅋㅋ 어처구니가 없는 .. 색인 쿼리중 참조 하는 테이블의 데이터가 변해서 맛이 간거 같은게.. 예상이지만..쿼리를 이것저것 돌려봐도 그렇게 느리진 않았는데..  뭐 암튼.. 성능개선의 하나의 방법으로 병렬처리 성능을 올려보자.. 현재 우리회사의 배치는 8core 에서 2개의 스레드로 실행되고 전체,증분 색인 두개가 동시에 돈다면 2개의 스레드를 사용하는 어플리케이션이 2개가 실행된다.그럼 max 를 4까지 올려봐도... 1. 시스템 자원 파악먼저, 서버나 시스템의 전체 CPU 코어 수, 메모리와 같은 자원을 파악해야 합니다. 각 애플리케이션이 실행되는 환경에서 사용 가능한 자원의 양을 기준으로 적절한 스레드 수를 할당해야 합니다.int availab..

몇일 전까지 다운로드 링크를 제공했었는데..  막혔다. 치사하다..그래서 또 긁어야 겠다.  주가정보를 훔쳐서 보관할 테이블 생성 CREATE TABLE `stock_data` ( `id` bigint NOT NULL AUTO_INCREMENT, `company` varchar(100) NOT NULL, `company_code` varchar(20) NOT NULL, `trading_date` date NOT NULL, `open` float DEFAULT NULL, `high` float DEFAULT NULL, `low` float DEFAULT NULL, `close` float DEFAULT NULL, `adj_close` float DEFAULT NULL, `volume` b..

Java에서 함수형 프로그래밍(Functional Programming)은 함수가 일급 시민(First-Class Citizen)으로 취급되고, 불변성(immutability)을 강조하며, 부작용(Side Effect)을 최소화하는 프로그래밍 패러다임입니다. Java 8에서 람다(Lambda)와 스트림(Stream) API가 도입되면서 함수형 프로그래밍을 더 쉽게 활용할 수 있게 되었습니다.Java에서 이를 활용하는 방법1. 람다 표현식 (Lambda Expression)람다는 익명 함수(Anonymous Function)로, 메서드를 간결하게 표현할 수 있습니다. 주로 함수형 인터페이스(Functional Interface)를 구현할 때 사용됩니다.// 기존 방식 Runnable runn..

Vavr는 Java에서 함수형 프로그래밍(FP)을 지원하는 라이브러리입니다.이 라이브러리는 Java의 전통적인 객체 지향 프로그래밍 스타일을 보완하며, 함수형 프로그래밍 패러다임을 더 쉽게 구현할 수 있도록 도와줍니다. Vavr은 Java에서 부족한 함수형 프로그래밍 관련 기능을 제공하고, 불변성, 함수형 데이터 구조, 고차 함수, 패턴 매칭 등의 개념을 지원합니다.주요 기능함수형 데이터 구조: Vavr은 불변 컬렉션과 데이터 구조를 제공합니다. 예를 들어, List, Map, Set 등 Java 표준 라이브러리의 컬렉션들과 유사한 자료구조를 제공하지만, 이들은 모두 불변입니다. 불변성은 멀티스레드 환경에서 안전하게 사용할 수 있다는 장점이 있습니다.옵셔널 타입: Java의 Optional 클래스와 유사..

Aqqle 컨셉이 자꾸 바뀌는거 같지만.. 일단 미국주식을 정보를 긁어봐야겠다. 일단 먹잇감은 아래 이녀석이다.  페이징도 있으니.. 넌.. 디졌다. 앞에 code 와 longName 을 긁어다가 DB 에 넣고 저 코드로 주가정보 히스토리 파일을 다운받아서 배치로 색인할 예정일단 긁었다.  package com.doo.aqqle.service;import com.doo.aqqle.element.Site;import com.doo.aqqle.factory.SiteFactory;import com.doo.aqqle.factory.YahooFactory;import com.doo.aqqle.repository.Stock;import com.doo.aqqle.repository.StockRepository;im..