여러 타입, 버전의 모델 서빙을 위한 ML 서빙 서버 구조 설계 참여 및 개발
- 문제점: 기존 서빙 서버는 단일 모델에 맞춰 개발되어 있어, 새로운 모델 타입과 버전이 추가될 때마다 서버를 새로 개발하고 배포해야 했음. 이로 인해 높은 개발 및 유지보수 비용이 발생함.
- 해결 방안: 모델 로딩 및 추론 파트와 추론 요청/응답 파트를 분리하여 서빙 서버를 재설계. 일관된 인터페이스를 정의하여 새로운 모델 추가 시 서빙 서버를 새로 개발할 필요 없어짐.
- 성과:
- 1개의 모델만 서빙하던 서비스를 N개의 모델 서빙이 가능한 플랫폼 서비스로 재설계 및 개발 완료.
- ML 연구팀과 개발팀 간 커뮤니케이션 리드.
- Mock ML 모델 개발을 통해 개발팀과 연구팀 간의 일정 의존성 최소화, GPU 서버 사용 시간과 비용 절감. 비용 절감 약 674.36 USD (838,856.63 원) / 1개월.
- ML 모델 개발 프로세스 및 버전 관리 정책 정립.
- ML 모델 테스트 환경 구축.
