faster-whisper vs OpenAI Whisper 직접 비교 (속도 4배·VRAM 절반, 8GB GPU 실측)

한국어 음성을 텍스트로 바꿀 때 faster-whisper와 OpenAI Whisper(원조) 둘 다 같은 모델을 쓰는데, faster-whisper가 빠르다고들 합니다. 실제로 8GB GPU(RTX 3070 Ti)에서 같은 3분짜리 음성을 medium 모델로 돌려 속도·VRAM·정확도를 직접 재봤습니다. 결론부터 말하면 정확도는 같고, 속도와 메모리는 faster-whisper가 압도합니다.

1. 두 엔진의 차이: 같은 모델, 다른 엔진
헷갈리기 쉬운데, 둘은 같은 모델을 다른 엔진으로 돌리는 관계입니다. OpenAI Whisper는 PyTorch 원본 구현이고, faster-whisper는 같은 모델 가중치를 CTranslate2(추론 최적화 엔진)로 다시 돌립니다. 즉 모델(정확도의 원천)은 동일하고, 돌리는 방식만 다릅니다.

- 모델 가중치는 동일(large-v3, medium 등 같은 체크포인트)
- faster-whisper: CTranslate2 백엔드(float16/int8 양자화 지원)
- OpenAI Whisper: PyTorch 기반(fp16)

2. 실측 결과 (3분 음성, medium 모델, RTX 3070 Ti 8GB)
같은 오디오를 같은 모델(medium)로 양쪽에서 돌린 결과입니다. 전사 시간과 VRAM 사용량에서 큰 차이가 났습니다.

3. 속도: 약 4배 빠르다
전사 시간이 9.2초 대 39.8초로, faster-whisper가 약 4.3배 빨랐습니다. CTranslate2의 양자화와 커널 최적화 덕분인데, 파일이 길거나 여러 개를 연속으로 돌리는 배치 작업일수록 이 차이는 그대로 누적돼 체감이 큽니다.

- faster-whisper 전사 9.2초 / OpenAI Whisper 39.8초
- 모델 로드도 2.3초 대 6.7초로 더 빠름
- 배치(수십에서 수백 건)에선 이 4배가 곧 작업 시간 4배 차이

4. VRAM: 절반 이하, 그리고 큰 모델이 들어간다
메모리도 medium 기준 2.2GB 대 5.2GB로 절반 이하였습니다. 더 결정적인 건 큰 모델에서 갈립니다. large-v3를 8GB GPU에서 돌려보면 OpenAI Whisper는 메모리 부족(OOM)으로 아예 실행이 안 되는데, faster-whisper는 4GB 정도로 거뜬히 돌아갑니다.

- medium VRAM: faster-whisper 2.2GB / OpenAI Whisper 5.2GB
- large-v3를 8GB GPU에서: faster-whisper 정상(약 4GB) / OpenAI Whisper OOM
- 메모리 효율 덕에 작은 GPU에서도 더 크고 정확한 모델을 쓸 수 있음

5. 정확도: 같은 가중치라 사실상 동일
가장 중요한 부분입니다. 모델 가중치가 같으니 전사 정확도도 같아야 정상인데, 실제로도 그랬습니다. 두 출력의 유사도는 공백 제거 기준 약 86%였고, 차이는 대부분 faster-whisper의 VAD(무음 필터) 때문에 짧은 추임새("응?", "네?")가 빠진 정도였습니다. 실제 내용 전사는 거의 동일했습니다.

- 출력 유사도 약 86%(공백 제거 기준)
- 차이의 대부분은 VAD로 인한 짧은 필러 유무(내용 아님)
- 즉 속도·메모리를 얻으면서 정확도 손해는 없음

6. 결론: 언제 뭘 쓰나
한국어 전사라면 거의 모든 경우 faster-whisper가 낫습니다. 같은 정확도에 더 빠르고 더 가볍기 때문입니다. OpenAI Whisper 원본은 특정 기능(예: 일부 도구가 요구하는 원본 API)이나 레퍼런스 비교가 필요할 때 정도입니다. 특히 8GB 이하 GPU에서 large-v3를 쓰고 싶다면 faster-whisper가 사실상 유일한 선택입니다.

- 일반적인 전사: faster-whisper(빠름 + 가벼움 + 동일 정확도)
- 작은 GPU(8GB 이하) + 큰 모델: faster-whisper가 사실상 유일
- OpenAI Whisper 원본: 특정 기능/레퍼런스가 필요할 때

함께 보면 좋은 글:
- 패스터위스퍼(faster-whisper)로 한국어 음성을 텍스트로 (GPU 메모리 부족까지 잡기) - faster-whisper 기본 사용법
- 긴 음성 무음(VAD) 잘라 빠르게 전사하기 (+화자별 대본) - VAD 무음 제거 편

여기까지 faster-whisper와 OpenAI Whisper를 같은 조건에서 직접 비교해 속도·VRAM·정확도 차이를 재본 결과에 대해서 작성해봤습니다. 여기까지 읽어주셔서 감사합니다!