일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | ||||||
2 | 3 | 4 | 5 | 6 | 7 | 8 |
9 | 10 | 11 | 12 | 13 | 14 | 15 |
16 | 17 | 18 | 19 | 20 | 21 | 22 |
23 | 24 | 25 | 26 | 27 | 28 |
- Elasticsearch
- 양자컴퓨터
- dbeaver
- TSLA
- elasticsearch cache
- IONQ
- API
- NORI
- java crawler
- JPA
- aggs
- Selenium
- Elastic
- 아이온큐
- 테슬라
- file download
- mysql
- Aggregation
- Analyzer
- api cache
- ann
- Query
- java
- vavr
- KNN
- Cache
- Docker
- aqqle
- request cache
- redis
- Today
- Total
목록java crawler (2)
아빠는 개발자
Aqqle 컨셉이 자꾸 바뀌는거 같지만.. 일단 미국주식을 정보를 긁어봐야겠다. 일단 먹잇감은 아래 이녀석이다. 페이징도 있으니.. 넌.. 디졌다. 앞에 code 와 longName 을 긁어다가 DB 에 넣고 저 코드로 주가정보 히스토리 파일을 다운받아서 배치로 색인할 예정일단 긁었다. package com.doo.aqqle.service;import com.doo.aqqle.element.Site;import com.doo.aqqle.factory.SiteFactory;import com.doo.aqqle.factory.YahooFactory;import com.doo.aqqle.repository.Stock;import com.doo.aqqle.repository.StockRepository;im..
쇼핑 데이터 크롤러를 만들어야겠다. 크롤링 데이터중에 일부를 dense vector 타입으로 변환 후 테이블에 넣는 것 까지의 롤을 가져가는 시스템 우선 크롤링에 필요한 라이브러리의 의존성의부여 받는다. dependencies { implementation project(':common') runtimeOnly 'com.h2database:h2' implementation 'org.springframework.boot:spring-boot-starter-data-jdbc' implementation 'org.springframework.boot:spring-boot-starter-data-jpa' implementation 'org.springframework.boot:spring-boot-starter..