영상 속 음성을 자막으로 옮기려면 예전에는 재생과 일시 정지를 반복하면서 문장을 직접 입력해야 했습니다.
영상 길이가 짧다면 어떻게든 할 수 있지만, 10분만 넘어가도 꽤 고된 작업이 됩니다.
게다가 외국어 영상이라면 음성을 받아 적은 뒤 번역까지 해야 하니 작업량이 더 늘어나죠.
이번에는 무료 자막 편집 프로그램인 Subtitle Edit의 음성 인식 기능을 이용해 영어 음성을 자막으로 변환하고, 다시 한국어로 번역해 SRT 파일로 저장해 봤습니다.
단순히 메뉴 위치만 나열하지 않고, 실제로 약 12분 분량의 영상을 변환하면서 걸린 시간과 결과도 함께 확인해 보겠습니다.
테스트 환경은 다음과 같습니다.
- 운영체제: Windows 11 64비트
- 프로그램: Subtitle Edit 5.1.0
- 음성 인식 엔진: Whisper CPP
- 처리 방식: CPU
- 음성 인식 모델: tiny.en
- 영상 언어: 영어
- 번역 언어: 한국어
- 테스트 영상 길이: 약 12분 14초
목차
Subtitle Edit 정식 버전 다운로드
Subtitle Edit는 동영상 자막을 만들고 수정하거나 싱크를 조정할 수 있는 무료 오픈소스 프로그램입니다.
음성 인식 엔진을 연결하면 영상 속 대화를 자동으로 분석해 자막 초안도 만들 수 있습니다.
다만 공식 홈페이지를 처음 방문하면 조금 헷갈릴 수 있습니다.
왼쪽 다운로드 영역에는 안정화된 정식 버전이 표시되지만, 본문에는 최신 베타 버전을 받을 수 있는 링크도 따로 있기 때문입니다.
일반적으로 블로그 글을 보면서 설치하는 사용자라면 베타 버전보다 정식 버전을 선택하는 편이 안전합니다. 베타 버전은 새로운 기능을 먼저 사용할 수 있지만, 메뉴 구성이나 작동 방식이 달라질 가능성이 있습니다.
이 글에서는 Subtitle Edit 5.1.0 정식 버전을 사용했습니다.
GitHub 릴리스 페이지에 들어가면 운영체제와 설치 방식에 따라 여러 파일이 표시됩니다.
일반적인 Windows 11 데스크톱이나 노트북에서는 Windows x64 Installer 항목의 Setup.exe 파일을 선택하면 됩니다.
ZIP 파일은 별도의 설치 과정 없이 압축을 풀어 사용하는 방식입니다. 처음 이용한다면 설정과 바로가기를 자동으로 구성해 주는 설치 파일이 조금 더 편합니다.
.NET 데스크톱 런타임을 먼저 설치하는 이유
Subtitle Edit 설치 파일부터 실행할 수도 있습니다.
하지만 필요한 .NET 런타임이 컴퓨터에 없다면 런타임 설치 안내가 나타나고, 런타임 설치를 마친 뒤 Subtitle Edit 설치 파일을 다시 실행해야 합니다.
한 번 더 되돌아가는 과정이 생기는 셈이라서 이번 글에서는 .NET 데스크톱 런타임을 먼저 설치한 다음 Subtitle Edit 설치를 진행하는 순서로 정리했습니다.
Microsoft의 .NET 10 다운로드 페이지에서 .NET 데스크톱 런타임의 Windows x64 설치 파일을 선택합니다.
SDK나 ASP.NET Core 런타임이 아니라 데스크톱 런타임을 받아야 합니다. Microsoft 설명에 따르면 데스크톱 런타임에는 일반 .NET 런타임도 포함되므로 별도로 두 가지를 모두 설치할 필요는 없습니다.
ARM 기반 Windows 기기라면 Arm64 항목을 선택해야 하지만, 일반적인 Intel 또는 AMD 기반 64비트 PC라면 x64가 맞습니다.
다운로드한 Windows Desktop Runtime 설치 파일을 실행한 뒤 설치를 누릅니다.
설치 과정에서 사용자 계정 컨트롤 창이 나타나면 내용을 확인하고 허용합니다. 런타임은 Subtitle Edit가 실행되는 데 필요한 구성 요소이므로, 설치가 끝날 때까지 창을 닫지 않고 기다리면 됩니다.
설치 완료 화면이 나타나면 닫기를 선택합니다.
이제 Subtitle Edit 실행에 필요한 기본 준비가 끝났습니다. 이미 같은 버전이나 더 최신 버전의 데스크톱 런타임이 설치되어 있다면 이 과정은 생략될 수 있습니다.
Subtitle Edit 설치하기
앞에서 받은 Subtitle Edit 설치 파일을 실행합니다.
설치 과정에서 사용할 언어를 한국어로 선택하고 확인을 누릅니다. 여기서 선택하는 항목은 설치 마법사의 표시 언어입니다.
설치를 마친 뒤 실제 프로그램 화면이 영어로 나타날 수 있는데, 프로그램의 화면 언어는 뒤에서 별도로 변경할 수 있습니다.
Subtitle Edit는 MIT 라이선스로 배포되는 오픈소스 프로그램입니다.
라이선스 내용을 확인한 뒤 동의합니다를 선택하고 다음 단계로 이동합니다.
설치 경로는 특별한 이유가 없다면 기본값을 그대로 사용해도 됩니다.
기본적으로 Program Files 폴더 아래에 Subtitle Edit가 설치됩니다. 다른 드라이브에 설치하고 싶을 때만 찾아보기를 눌러 위치를 변경하면 됩니다.
시작 메뉴에 생성될 프로그램 폴더 이름을 정하는 화면입니다.
기본값인 Subtitle Edit를 그대로 두고 다음을 누르면 됩니다. 시작 메뉴 바로가기가 필요하지 않다면 하단의 시작 메뉴 폴더를 만들지 않는 옵션을 선택할 수도 있습니다.
바탕화면 바로가기를 만들지 여부와 프로그램을 사용할 계정 범위를 선택합니다.
혼자 사용하는 컴퓨터라면 현재 사용자로 설치해도 충분합니다. 여러 Windows 계정에서 함께 사용해야 한다면 모든 사용자 항목을 선택할 수 있습니다.
설정을 확인한 뒤 설치를 누릅니다.
설치가 끝나면 마침을 눌러 설치 마법사를 종료합니다.
바로 프로그램을 실행하려면 Subtitle Edit 실행 항목을 선택해도 됩니다.
이 글에서는 설치 후 프로그램을 실행해 필요한 부가 구성 요소까지 계속 설정했습니다.
FFmpeg 설치와 한국어 화면 설정
Subtitle Edit를 처음 실행하면 FFmpeg 다운로드 여부를 묻는 창이 나타날 수 있습니다.
FFmpeg는 동영상과 오디오를 읽고 변환하는 데 사용되는 멀티미디어 구성 요소입니다. 영상 재생과 음성 추출 기능을 정상적으로 사용하려면 설치하는 것이 좋습니다.
Yes를 누르면 Subtitle Edit에서 필요한 파일을 내려받아 구성합니다.
설치 언어를 한국어로 선택했더라도 프로그램 화면이 영어로 나타날 수 있습니다.
상단 메뉴에서 Options → Choose UI language를 선택합니다.
언어 목록에서 Korean을 선택하고 OK를 누릅니다.
메뉴가 바로 한국어로 바뀌지 않는다면 프로그램을 종료한 뒤 다시 실행해 보세요. 버전에 따라 일부 엔진 이름이나 기능 이름은 영어로 계속 표시될 수 있습니다.
음성이 포함된 영상 불러오기
상단 메뉴에서 비디오 → 비디오 열기를 선택합니다.
Subtitle Edit는 자막 파일만 편집하는 프로그램으로 보이지만, 실제로는 영상과 음성 파형을 불러와 자막의 시간과 내용을 함께 확인할 수 있습니다.
음성이 포함된 영상 파일을 선택하고 열기를 누릅니다.
이번 테스트에는 약 12분 14초 길이의 영어 영상인 Tears of Steel을 사용했습니다.
이 작품은 Blender Foundation에서 공개한 영상이며, Creative Commons Attribution 3.0 라이선스로 제공됩니다.
영상 파일을 불러오면 오른쪽에는 영상 미리보기가 나타나고, 아래쪽에는 음성 파형이 표시됩니다.
동영상 음성을 자동 자막으로 변환하기
상단 메뉴에서 비디오 → 음성을 텍스트로 변환을 선택합니다.
Subtitle Edit 공식 문서에서는 이 기능을 Speech to Text라고 설명합니다. Whisper 계열을 비롯한 여러 음성 인식 엔진을 이용해 영상의 소리를 텍스트와 자막 시간 정보로 변환하는 기능입니다.
음성 텍스트 변환 화면에는 엔진, 백엔드, 입력 언어, 모델처럼 처음 보면 비슷해 보이는 항목이 여러 개 있습니다.
여기서 역할을 구분해 두면 설정하기가 훨씬 쉬워집니다.
엔진은 음성을 글자로 바꾸는 프로그램을 의미합니다. 이 글에서는 인터넷 서버에 음성을 전송하지 않고 컴퓨터에서 처리할 수 있는 Whisper CPP를 사용했습니다.
백엔드는 계산에 어떤 하드웨어와 처리 방식을 사용할지 정하는 항목입니다.
- CPU: 그래픽카드 설정 없이 사용할 수 있어 호환성이 좋음
- cuBLAS: 호환되는 NVIDIA 그래픽카드를 활용하는 방식
- Vulkan: Vulkan을 지원하는 그래픽 장치를 활용하는 방식
GPU 방식은 환경이 맞으면 처리 시간을 줄일 수 있지만, 그래픽 드라이버와 하드웨어 호환성에 따라 결과가 달라질 수 있습니다. 처음 시도하거나 오류를 피하고 싶다면 CPU부터 확인하는 것이 가장 무난합니다.
목록에는 Whisper CPP 외에도 Faster Whisper, CTranslate2, OpenAI 및 다른 음성 인식 서비스가 표시됩니다. 온라인 서비스는 계정이나 API 설정이 필요할 수 있으므로 이번 글에서는 별도로 사용하지 않았습니다.
이번 테스트에서는 다음과 같이 설정했습니다.
- 엔진: Whisper CPP
- 백엔드: CPU
- 입력 언어: English
- 모델: tiny.en
모델 이름 뒤에 붙은 .en은 영어 전용 모델이라는 뜻입니다. 영어 음성을 처리할 때는 사용할 수 있지만 한국어 음성을 인식하려면 다국어 모델을 선택해야 합니다.
tiny.en은 용량이 작고 비교적 빠르게 작동하지만, 더 큰 모델보다 인식 정확도가 떨어질 수 있습니다. 빠르게 초안을 만들고 작동 방식을 확인하는 용도로는 괜찮았지만, 중요한 영상이라면 small이나 medium 계열 모델과 결과를 비교해 보는 편이 좋습니다.
모델이 커질수록 일반적으로 정확도가 좋아질 가능성이 있지만, 다운로드 용량과 메모리 사용량, 변환 시간도 함께 증가합니다.
설정을 마쳤다면 텍스트 변환을 누릅니다.
Whisper CPP가 아직 설치되지 않았다면 다운로드 여부를 묻는 창이 나타납니다.
예를 눌러 필요한 엔진 파일을 내려받습니다. 이 과정은 처음 사용할 때만 필요하며, 이후 같은 엔진을 사용할 때는 다시 다운로드하지 않아도 됩니다.
선택한 tiny.en 모델이 컴퓨터에 없다면 모델 다운로드 안내도 이어서 나타납니다.
예를 눌러 다운로드합니다. 모델별로 파일 크기가 다르므로 큰 모델을 선택했다면 다운로드 완료까지 시간이 더 걸릴 수 있습니다.
엔진과 모델 준비가 끝나면 영상의 음성을 분석하기 시작합니다.
오른쪽 콘솔 로그에는 인식된 문장과 시간 정보가 차례대로 표시되고, 아래쪽 진행 막대에서 변환 상태를 확인할 수 있습니다.
제가 사용한 환경에서는 약 12분 14초 길이의 영어 영상을 Whisper CPP, CPU, tiny.en 조합으로 처리하는 데 약 19분이 걸렸습니다.
영상 길이보다 변환 시간이 조금 더 길었던 셈입니다.
다만 이 수치는 모든 컴퓨터에 동일하게 적용되는 결과는 아닙니다. CPU 성능, 영상 코덱, 음질, 말하는 속도, 모델 크기와 백엔드에 따라 시간 차이가 크게 날 수 있습니다.
그래도 실제로 돌려 보니 한 가지는 분명했습니다. CPU와 가장 작은 영어 모델을 사용한다고 해서 항상 실시간보다 빠르게 끝나는 것은 아니었습니다. 긴 영상을 처리한다면 작업을 시작한 뒤 잠시 다른 일을 하는 편이 낫습니다.
영어 자막을 한국어로 자동 번역하기
음성 인식이 끝나면 자막 문장과 시간 정보가 Subtitle Edit 목록에 추가됩니다.
상단 메뉴에서 번역 → 자동 번역을 선택합니다.
이 단계에서 음성 인식과 자동 번역을 구분할 필요가 있습니다.
Whisper CPP는 영상의 영어 음성을 영어 자막으로 바꾸는 역할을 합니다. 그다음 자동 번역 기능이 만들어진 영어 문장을 한국어로 옮깁니다.
즉, 음성 인식 엔진과 번역 서비스는 서로 다른 작업을 담당합니다.
자동 번역 창에서 번역 엔진과 원문·번역 언어를 선택합니다.
이번 테스트에서는 다음과 같이 설정했습니다.
- 번역 엔진: Google Translate V1 API
- 원문: English
- 번역: Korean
설정을 확인한 뒤 번역을 누르면 오른쪽 번역 영역에 한국어 문장이 생성됩니다.
여기서 알아둘 점도 있습니다. Whisper CPP를 이용한 음성 인식은 컴퓨터 내부에서 처리할 수 있지만, 온라인 번역 엔진을 사용하면 자막 텍스트가 외부 번역 서비스로 전달될 수 있습니다.
개인정보나 외부 공개가 곤란한 대화가 포함된 영상이라면 사용 전에 이 점을 고려해야 합니다. 번역 서비스의 제공 방식이나 사용 제한도 향후 변경될 수 있습니다.
번역 결과 검토 후 SRT로 저장하기
번역을 적용하면 한국어 자막과 영어 원문을 나란히 확인할 수 있습니다.
자동으로 여기까지 만들어지는 건 편했지만, 완성된 결과를 그대로 배포하기에는 수정할 부분이 있었습니다.
음성이 없는 구간에는 [BLANK_AUDIO]가 남았고, 일부 문장은 문맥에 맞지 않거나 다소 어색하게 번역됐습니다. 등장인물의 이름이나 고유명사도 잘못 인식될 수 있습니다.
따라서 다음 항목은 직접 확인하는 것이 좋습니다.
[BLANK_AUDIO],[MUSIC]처럼 필요 없는 표시 삭제- 잘못 인식된 이름과 전문용어 수정
- 지나치게 길게 생성된 문장 나누기
- 영상과 자막 시작 시간이 맞는지 확인
- 번역투가 강한 문장을 자연스럽게 수정
솔직히 말하면 버튼 한 번으로 완벽한 한국어 자막이 완성되는 수준은 아니었습니다.
그렇지만 자막의 시작·종료 시간과 영어 초안이 자동으로 만들어진다는 점은 꽤 유용했습니다. 처음부터 모든 대사를 듣고 입력하는 것과 비교하면 손이 가는 부분이 확실히 줄어듭니다.
검토와 수정을 마쳤다면 상단의 저장 아이콘을 누릅니다.
파일 형식은 범용성이 높은 SubRip(.srt)을 선택하고, 원본 영상과 구분할 수 있는 이름으로 저장합니다.
예를 들어 원본 영상이 Tears_of_Steel_1080p.webm이라면 한국어 자막은 Tears_of_Steel_1080p.ko.srt처럼 저장할 수 있습니다.
영상 플레이어에서 자막을 자동으로 불러오게 하려면 영상과 자막을 같은 폴더에 두고, 파일 이름의 기본 부분을 동일하게 맞추는 것이 편합니다.
직접 사용해 본 결과
Subtitle Edit의 음성 인식 기능은 영상 자막을 처음부터 손으로 만드는 작업을 줄이는 보조 도구에 가깝습니다.
이번 테스트에서는 12분 정도의 영어 영상을 처리하는 데 약 19분이 걸렸고, 음성 인식 결과와 한국어 번역에도 손볼 부분이 있었습니다. 처음에는 “자동 자막인데 생각보다 오래 걸리네?”라는 생각도 들었습니다.
그래도 음성 구간을 찾아 시간표를 만들고 영어 문장을 받아 적는 과정이 자동으로 끝난다는 장점은 컸습니다.
짧은 강의나 인터뷰, 개인 영상의 자막 초안을 만들 때는 충분히 활용할 만합니다. 다만 모델이 만든 문장을 그대로 믿기보다는 마지막에 영상을 재생하며 내용과 싱크를 검토해야 합니다.
처음 사용한다면 이 글에서 적용한 Whisper CPP, CPU, tiny 계열 모델로 작동을 확인한 뒤 영상의 중요도와 컴퓨터 성능에 맞춰 더 큰 모델이나 GPU 백엔드를 시험해 보는 것을 권합니다.
이 문서는 최종적으로 2026년 8월 25일 업데이트 되었습니다.
함께 보면 좋은 글