아빠는 개발자

doo-nori-posfilter 는 아래와 같은 품사를 제거 해야 하는데 이상하다. "doo-nori-posfilter": { "type": "nori_part_of_speech", "stoptaags": [ "E", "IC", "J", "MAG", "MM", "NA", "NR", "SC", "SE", "SF", "SH", "SL", "SN", "SP", "SSC", "SSO", "SY", "UNA", "UNKNOWN", "VA", "VCN", "VCP", "VSV", "VV", "VX", "XPN", "XR", "XSA", "XSN", "..

Aqqle 의 shop 인덱스 settings json { "number_of_shards": "3", "analysis": { "filter": { "doo-stop-filter": { "type": "stop", "stopwords_path": "stopFilter.txt" }, "doo-synonym-filter": { "type": "synonym", "synonyms_path": "synonymsFilter.txt" }, "doo-nori-posfilter": { "type": "nori_part_of_speech", "stoptaags": [ "E",..

Ya후의 stock 서비를 크롤링해서 데이터를 훔처오는 service 인데 대충 만들다보니 리팩토링좀 해야할듯.. 기존소스의 개선점예외 처리 로직 강화병렬 처리 최적화 (CompletableFuture.allOf)하드코딩된 경로 제거가독성과 유지보수성 향상package com.doo.aqqle.service;import com.doo.aqqle.annotation.Timer;import com.doo.aqqle.repository.StockDataRepository;import com.doo.aqqle.repository.StockRepository;import lombok.extern.slf4j.Slf4j;import org.apache.tomcat.util.http.fileupload.FileUtil..

이것도 정리 한번 해보자  개선 포인트가독성 향상:fetchSource 설정을 별도 메서드로 추출하여 주석이나 메서드명을 통해 의도를 명확히 표현할 수 있습니다.재사용성 증가:동일한 SearchSourceBuilder 초기화 로직을 여러 곳에서 사용할 수 있습니다.변경 용이성:나중에 포함하거나 제외할 필드를 수정해야 할 경우, 한 곳에서만 변경하면 됩니다.주석 추가:includeFields와 excludeFields의 목적을 설명하면, 다른 개발자가 빠르게 코드를 이해할 수 있습니다.package com.doo.aqqle.service;import com.doo.aqqle.HostUrl;import com.doo.aqqle.component.TextEmbedding;import com.doo.aqqle...

기획없이 그냥 생각나는대로 만들다 보니 패키지 구성이 애매하다.여러도메인이 서비스를 공유한다 라는 컨셉이긴한데 공유할 일이 있나 싶기도 하고 작업한지가 오래되서 첨에 무슨생각으로 만들었는지도 가물 가물 아무튼 aqqle 는 1번 구조로 설계되어 있는데 나중에 수정하게 될 수 도..   1. service를 shop과 같은 레벨에 배치:com.example.project├── shop│ ├── controller│ ├── domain│ ├── dto│ └── repository├── service└── config장점:서비스 계층의 재사용성:service 패키지는 여러 도메인(shop, order, user 등)에서 공통적으로 사용할 수 있는 로직을 포함할 수 있음.계층 분리 명확화:서비스 ..

원래 코드 이걸 리팩토링(?) 해보자 @RestController@Api(tags = "1. Shop Apis")@RequestMapping("api/search")@RequiredArgsConstructorpublic class ShopRestController { private final ShopService service; @CrossOrigin("*") @ApiOperation(value = "search", notes = "검색") @GetMapping("shop") public CommonResult getDatas( @ModelAttribute ShopRequest request ) { return service.getProdu..

어떻게 보면 별거 없을 것 같은 파일인데 그렇다보니 매번 복붙하게 됨. 그렇다면 다른 구로조 확장 할 수 있는 방법은? Aqqle 의 setting.gradle 은 아래와 같이 되어있다. rootProject.name = 'aqqle'include 'base','common', 'indexer', 'extract', 'api', 'crawler', 'manage', 'web', 'producer', 'consumer' 하위 프로젝트 구조현재 include에 나열된 하위 프로젝트들은 잘 나뉘어 있습니다. 하지만, 하위 프로젝트 디렉토리 구조가 일관성을 유지하고 있는지 확인해보세요.예: base, common, indexer 등은 모두 프로젝트 루트에 있어야 합니다.하위 프로젝트 경로를 명시해야 하는 경우(..

뭐때문인지 기억은 안나지만.. DB reload 하다가 데이터가 다 날라갔다...Aqqle 파산직전.. 일단 다시 상품 데이터 부터 수집해보잣..  N.. 은 이제 쉽지 않아졌다.  같은 리스트지만 css class 를 다르게 적용하고 있어서 css selector 를 이용해서 긁기가 .. 힘들다.. 긁으면서 tensorflow api 를 통해서 512차원 으로 변환된 백터도 함께저장하고 있는데 HTTP error fetching URL. Status=418 긁는게 쉽지않다..  이 회사는 나말고도 긁는 사람 많을꺼라  힘들어 하고 있는 T 를 털어봐야겠다.

몇일 전까지 다운로드 링크를 제공했었는데..  막혔다. 치사하다..그래서 또 긁어야 겠다.  주가정보를 훔쳐서 보관할 테이블 생성 CREATE TABLE `stock_data` ( `id` bigint NOT NULL AUTO_INCREMENT, `company` varchar(100) NOT NULL, `company_code` varchar(20) NOT NULL, `trading_date` date NOT NULL, `open` float DEFAULT NULL, `high` float DEFAULT NULL, `low` float DEFAULT NULL, `close` float DEFAULT NULL, `adj_close` float DEFAULT NULL, `volume` b..

Aqqle 컨셉이 자꾸 바뀌는거 같지만.. 일단 미국주식을 정보를 긁어봐야겠다. 일단 먹잇감은 아래 이녀석이다.  페이징도 있으니.. 넌.. 디졌다. 앞에 code 와 longName 을 긁어다가 DB 에 넣고 저 코드로 주가정보 히스토리 파일을 다운받아서 배치로 색인할 예정일단 긁었다.  package com.doo.aqqle.service;import com.doo.aqqle.element.Site;import com.doo.aqqle.factory.SiteFactory;import com.doo.aqqle.factory.YahooFactory;import com.doo.aqqle.repository.Stock;import com.doo.aqqle.repository.StockRepository;im..