| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | |||
| 5 | 6 | 7 | 8 | 9 | 10 | 11 |
| 12 | 13 | 14 | 15 | 16 | 17 | 18 |
| 19 | 20 | 21 | 22 | 23 | 24 | 25 |
| 26 | 27 | 28 | 29 | 30 | 31 |
- api cache
- request cache
- Selenium
- Analyzer
- aggs
- JPA
- Elastic
- KNN
- vavr
- NORI
- Query
- dbeaver
- Elasticsearch
- aqqle
- java
- Cache
- TSLA
- 양자컴퓨터
- ann
- API
- Aggregation
- 테슬라
- IONQ
- mysql
- file download
- 아이온큐
- java crawler
- redis
- elasticsearch cache
- Docker
- Today
- Total
목록java crawler (2)
아빠는 개발자
[Aqqle] 야hoo finance 긁어보자
Aqqle 컨셉이 자꾸 바뀌는거 같지만.. 일단 미국주식을 정보를 긁어봐야겠다. 일단 먹잇감은 아래 이녀석이다. 페이징도 있으니.. 넌.. 디졌다. 앞에 code 와 longName 을 긁어다가 DB 에 넣고 저 코드로 주가정보 히스토리 파일을 다운받아서 배치로 색인할 예정일단 긁었다. package com.doo.aqqle.service;import com.doo.aqqle.element.Site;import com.doo.aqqle.factory.SiteFactory;import com.doo.aqqle.factory.YahooFactory;import com.doo.aqqle.repository.Stock;import com.doo.aqqle.repository.StockRepository;im..
[Aqqle] crawler - 쇼핑
쇼핑 데이터 크롤러를 만들어야겠다. 크롤링 데이터중에 일부를 dense vector 타입으로 변환 후 테이블에 넣는 것 까지의 롤을 가져가는 시스템 우선 크롤링에 필요한 라이브러리의 의존성의부여 받는다. dependencies { implementation project(':common') runtimeOnly 'com.h2database:h2' implementation 'org.springframework.boot:spring-boot-starter-data-jdbc' implementation 'org.springframework.boot:spring-boot-starter-data-jpa' implementation 'org.springframework.boot:spring-boot-starter..