[로이슈 편도욱 기자] 글로벌 가상자산 거래소 바이낸스가 대규모 데이터 처리 과정에서 발생하는 비효율을 개선하기 위해 자체 개발한 프레임워크를 공개했다고 16일 밝혔다.

'스몰 파일 닥터'로 명명된 이 프레임워크는 대규모 데이터 웨어하우스에서 다수의 소규모 파일로 인해 발생하는 성능 저하 문제를 해결하기 위해 개발됐다. 시스템은 저장된 메타데이터를 분석해 병합이 필요한 파일을 선별하고, 오프피크 시간에 작업을 진행하도록 설계됐다.

바이낸스에 따르면, 이 프레임워크를 통해 5,900만 개에 달하던 소규모 파일을 약 290만 개로 95% 이상 감축하는 데 성공했으며, 연간 최대 10만 달러 규모의 운영 비용 절감 효과도 거뒀다. 회사는 향후 해당 도구를 스케줄러와 통합해 성능 개선 효과를 더욱 높일 계획이라고 밝혔다.

업체 관계자는 "데이터 규모와 서비스 복잡성이 증가하는 환경에서 시스템 안정성을 유지하는 데 중요한 역할을 하고 있다"라고 말했다.

편도욱 로이슈 기자 toy1000@hanmail.net