🕛 기간

2021.11 ~ 2021.11

개요

소개

Spring batch이용해 공공데이터 CSV 내용 mysql내 삽입

사용기술

• OS: Ubuntu
• Backend
  • Spring Framework 6.2
  • Spring Batch 5.2
  • Spring ORM 3.2.0
  • Spring Data JPA 3.2.0
  • MySQL 8
  • OpenCSV 5.7.1
  • Prometheus
  • Grafana

성과

• 1GB 데이터 삽입 시간을 평균 25분에서 5분 이내로 단축

기여도

100%

동작흐름

flowchart TD
  A[CSV 파일 읽기] --> B[Spring Batch의 Reader 구성]
  B --> C[Processor에서 데이터 검증 및 변환]
  C --> D[Writer에서 MySQL 데이터 삽입]
  D --> E[로깅 및 재시도 정책]
  E --> F[병렬 Step으로 데이터 처리 속도 향상]

기능 및 역할