아빠는 개발자

뭐때문인지 기억은 안나지만.. DB reload 하다가 데이터가 다 날라갔다...Aqqle 파산직전.. 일단 다시 상품 데이터 부터 수집해보잣..  N.. 은 이제 쉽지 않아졌다.  같은 리스트지만 css class 를 다르게 적용하고 있어서 css selector 를 이용해서 긁기가 .. 힘들다.. 긁으면서 tensorflow api 를 통해서 512차원 으로 변환된 백터도 함께저장하고 있는데 HTTP error fetching URL. Status=418 긁는게 쉽지않다..  이 회사는 나말고도 긁는 사람 많을꺼라  힘들어 하고 있는 T 를 털어봐야겠다.

몇일 전까지 다운로드 링크를 제공했었는데..  막혔다. 치사하다..그래서 또 긁어야 겠다.  주가정보를 훔쳐서 보관할 테이블 생성 CREATE TABLE `stock_data` ( `id` bigint NOT NULL AUTO_INCREMENT, `company` varchar(100) NOT NULL, `company_code` varchar(20) NOT NULL, `trading_date` date NOT NULL, `open` float DEFAULT NULL, `high` float DEFAULT NULL, `low` float DEFAULT NULL, `close` float DEFAULT NULL, `adj_close` float DEFAULT NULL, `volume` b..

Aqqle 컨셉이 자꾸 바뀌는거 같지만.. 일단 미국주식을 정보를 긁어봐야겠다. 일단 먹잇감은 아래 이녀석이다.  페이징도 있으니.. 넌.. 디졌다. 앞에 code 와 longName 을 긁어다가 DB 에 넣고 저 코드로 주가정보 히스토리 파일을 다운받아서 배치로 색인할 예정일단 긁었다.  package com.doo.aqqle.service;import com.doo.aqqle.element.Site;import com.doo.aqqle.factory.SiteFactory;import com.doo.aqqle.factory.YahooFactory;import com.doo.aqqle.repository.Stock;import com.doo.aqqle.repository.StockRepository;im..

apple API 대략적인 구조는 이렇게.. 가져가볼...

일단 테이블을 만들자.. 만들고 나서 생각하자 어차피 수정할꺼니까 CREATE TABLE `users` ( `id` bigint NOT NULL AUTO_INCREMENT, `user_id` varchar(200) NOT NULL, `name` varchar(200) NOT NULL, `use_yn` enum('Y','N') NOT NULL DEFAULT 'Y', `created_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP, `updated_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP, PRIMARY KEY (`id`)) ENGINE=InnoDB AU..

사전관리CREATE TABLE `dictionary` ( `id` bigint NOT NULL AUTO_INCREMENT, `word` varchar(200) NOT NULL, `type` varchar(20) NOT NULL, `use_yn` enum('Y','N') NOT NULL DEFAULT 'Y', `created_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP, `updated_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP, PRIMARY KEY (`id`), UNIQUE KEY `word_index` (`word`)) ENGINE=InnoDB..

Admin 에서 사용할 API 들을 manage project 에 작업해놓음 우선 키워드 관리 크롤러가 사용할 keyword 들에 대한 CRUD 를 관리 Table 스키마 CREATE TABLE `keywords` ( `id` bigint NOT NULL AUTO_INCREMENT, `keyword` varchar(200) NOT NULL, `use_yn` enum('Y','N') NOT NULL DEFAULT 'Y', `created_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP, `updated_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP, PRIMARY KEY..

EXTRACT 에서 추출한 파일을 INDEXER 에서 읽어서 ES에 색인한다. 뭐 이런 컨셉으로 만들었는데.. index 의 생성/삭제 관리쪽이 아직 부족하다.

DB에 있는 데이터를 추출 해서 파일로 만든다 색인데이터가 유실되는것을 막기위해 안전하게 처리하기 위함이라고 생각했는데 데이터가 많아지면 이방법으로 가능할까? 라는 의문이 들긴한다. 파일 생성 경로는 /data/static 실행해보자 /data/static/202402032221 라고 경로가 찍히고 해당 경로에 디렉토리가 생성되고 디렉토리 안에 아래와 같이 파일이 생성된다. 파일을 열어보면 이렇게 저장되어 있는데 512차원의 백터값 때문에 지저분하다.

키워드 관리 크롤링에서 사용할 키워드들을 관리하는 메뉴 AdminLTE 의 jsGrid 테이블 셈플을 사용해서 만들예정 일단 리스트 불러오기 예전에 만들어 놓았던 aqqle manage api 의 키워드 관리를 활용할 예정 일단 axios get 사용해서 /manage/keywords API를 호출 var keyword = { init: function () { var _this = this; }, // init end list: { search: function () { var data = {}; const config = { headers: {'content-type': 'application/json'} } return axios.get($("#api").val() + '/manage/keyword..