목록2025/04/22 (1)

HJW's IT Blog

Spring Batch 시스템에서 JdbcTemplate와 중복 데이터 처리 효율화

1. 들어가며Spring Batch 를 활용해 뉴스 기사를 외부 API 에서 수집하고, 이 기사는 관심사 별로 분류하여 DB에 저장하는 과정에서의 시행착오를 담은 글이다. 2. 문제 파악기사 (Article)와 관심사 (Interest) 는 다대다 관계이다. 그렇기 때문에, 중간 테이블인 ArticleInterest 를 활용하여 저장하고자 하였다. Batch 의 전체 프로세스는 다음과 같았다.Reader :DB에서 Keyword 를 읽는다Keyword는 Interest 와 연결된 단어이다.기사를 조회할 때, Keyword 를 기반으로 조회한다Processor :각 Keyword 는 여러 Interest 와 연관되어 있을 수 있고, 하나의 Interest 는 여러 Keyword를 가질 수 있기 때문에, 이..
Spring 2025. 4. 22. 17:13
이전 Prev 1 Next 다음