VMware 가상 머신에 Windows 11 설치를 진행할 때는 ISO 파일을 가상 CD/DVD 드라이브에 연결하는 방법이 가장 간단합니다. 하지만 이미 만들어 둔 Windows 11 설치 USB나 Ventoy 멀티부팅 USB를 이용해 가상 머신을 부팅할 수도 있습니다.
실제 PC에 연결한 USB 장치는 기본적으로 호스트 Windows에서 사용합니다. 따라서 가상 머신을 UEFI 펌웨어 화면으로 실행한 다음, USB 장치의 연결 대상을 호스트 PC에서 가상 머신으로 변경해야 합니다.
이번 글에서는 VMware 설치 USB 부팅하는 방법을 알아보겠습니다. 예시에서는 Ventoy로 만든 설치 USB를 사용하며, USB 부팅 이후의 Windows 11 전체 설치 과정은 별도의 글에서 다룹니다.
VMware 가상 머신에 Windows 11 설치
기존 CD/DVD 연결 해제하기
Windows 11 ISO 파일이 가상 CD/DVD 드라이브에 연결되어 있다면 가상 머신을 실행할 때 ISO 파일이 자동으로 마운트될 수 있습니다. 설치 USB로 부팅하는 과정에서 혼선이 생기지 않도록 기존 CD/DVD 연결 설정부터 해제하겠습니다.
VMware Workstation Pro에서 Windows 11 가상 머신을 선택한 뒤 Edit virtual machine settings를 클릭합니다.
Virtual Machine Settings 창이 열리면 왼쪽 하드웨어 목록에서 CD/DVD (SATA)를 선택합니다.
오른쪽 Device status 항목에서 Connect at power on의 선택을 해제합니다. 이어서 아래쪽의 Use physical drive를 선택하여 기존에 지정한 ISO 파일이 가상 머신 시작과 함께 연결되지 않도록 설정합니다.
설정을 확인한 뒤 OK를 클릭합니다.
가상 머신을 UEFI 펌웨어로 실행하기
Windows 11 설치 USB를 호스트 PC의 USB 포트에 연결합니다. 가상 머신이 실행 중이거나 일시 중지된 상태라면 먼저 전원을 완전히 종료한 뒤 진행합니다.
VMware Workstation Pro 상단 메뉴에서 VM → Power → Power On to Firmware를 선택합니다.
일반적인 전원 켜기 기능 대신 Power On to Firmware를 이용하면 운영체제로 바로 부팅하지 않고 가상 머신의 UEFI 펌웨어 화면으로 들어갈 수 있습니다. 이 화면에서 Windows 11 설치 USB를 부팅 장치로 선택할 수 있습니다.
가상 머신이 실행되면서 사이드 채널 완화 기능에 관한 안내 창이 나타날 수 있습니다. 오류가 아니므로 내용을 확인한 뒤 OK를 클릭합니다. 같은 안내를 다시 표시하지 않으려면 재표시 방지 항목을 선택해도 됩니다.
sata0:1 장치에 대응하는 장치를 찾을 수 없다는 안내가 나타난다면 호스트 PC에서 가상 CD/DVD 드라이브에 연결할 물리적 장치를 찾지 못했다는 의미입니다. 이번에는 CD/DVD 드라이브가 아닌 USB로 부팅하므로 No를 선택합니다.
이어서 이동식 장치 연결 방법에 관한 안내 창이 나타나면 내용을 확인한 뒤 OK를 클릭합니다.
Windows 11 설치 USB를 가상 머신에 연결하기
가상 머신의 UEFI 펌웨어 화면이 열린 상태에서 VMware Workstation Pro 상단 메뉴의 VM → Removable Devices를 차례대로 선택합니다.
장치 목록에서 Windows 11 설치 USB의 이름을 찾은 뒤 Connect (Disconnect from Host)를 클릭합니다.
USB 장치를 가상 머신에 연결하면 해당 장치가 호스트 PC에서 분리된다는 확인 창이 나타납니다. OK를 클릭해 연결을 진행합니다.
이 과정은 USB 장치를 PC에서 물리적으로 분리하는 것이 아니라, 장치의 연결 대상을 호스트 Windows에서 가상 머신으로 전환하는 것입니다. 가상 머신에 연결되어 있는 동안에는 호스트 PC의 파일 탐색기에서 USB 드라이브가 보이지 않거나 접근할 수 없게 될 수 있습니다.
다시 VM → Removable Devices 메뉴를 열었을 때 설치 USB의 메뉴가 Disconnect (Connect to Host)로 변경되어 있다면 가상 머신에 정상적으로 연결된 것입니다.
UEFI에서 설치 USB로 부팅하기
현재 열려 있는 UEFI Boot Manager에는 설치 USB를 가상 머신에 연결하기 전에 검색된 부팅 장치만 표시될 수 있습니다. 이 경우 USB를 정상적으로 연결해도 부팅 장치 목록에 바로 나타나지 않으므로 가상 머신을 다시 시작해야 합니다.
가상 머신 화면을 클릭한 뒤 키보드 방향키로 Reset System을 선택하고 Enter를 누릅니다.
가상 머신이 다시 시작되면 연결된 USB 장치를 새로 인식합니다. 설치 USB의 부팅 설정에 따라 USB로 바로 부팅될 수 있으며, 그렇지 않다면 Boot Manager 로 다시 들어갑니다.
부팅 장치 목록에 EFI USB Device 와 같은 USB 항목이 표시되면 해당 항목을 선택하고 Enter를 누릅니다.
설치 USB가 정상적으로 만들어졌고 가상 머신에 올바르게 연결되어 있다면 잠시 후 USB에 저장된 부팅 프로그램이 실행됩니다. Ventoy로 만든 USB를 사용했다면 Ventoy 부팅 메뉴가 나타나며, 목록에서 Windows 11 ISO 파일을 선택해 설치를 시작할 수 있습니다.
Ventoy에서 Windows 11 ISO 파일 선택하기
이번 글에서는 여러 개의 ISO 파일을 하나의 USB에 저장해 사용할 수 있는 Ventoy 방식의 설치 USB를 사용했습니다. Ventoy USB로 정상적으로 부팅되면 USB에 저장된 ISO 파일 목록이 표시됩니다.
키보드 방향키로 설치할 Windows 11 ISO 파일을 선택한 뒤 Enter를 누릅니다. 부팅 방식 선택 화면이 나타나면 일반적인 Windows 11 설치에는 Boot in normal mode를 선택하고 Enter를 누릅니다.
Microsoft 미디어 생성 도구나 Rufus로 만든 일반 Windows 11 설치 USB를 사용했다면 Ventoy 메뉴는 나타나지 않습니다. USB로 정상적으로 부팅되면 Windows 11 설치 프로그램이 바로 실행됩니다.
Windows 로고에 이어 설치 프로그램의 언어 선택 화면이 나타나면 VMware 가상 머신이 Windows 11 설치 USB로 정상적으로 부팅된 것입니다. 이후 설치 언어와 키보드 종류, 제품 키, 설치 디스크 등을 선택하는 과정은 별도로 작성한 Windows 11 설치 방법을 참고해 진행하면 됩니다.
설치 USB가 인식되지 않을 때
Windows 11 설치 USB가 부팅 장치 목록에 나타나지 않거나 USB로 부팅되지 않는다면 다음 항목을 확인합니다.
- VM → Removable Devices에서 설치 USB가 가상 머신에 연결되어 있는지
- 설치 USB의 메뉴가 Disconnect (Connect to Host)로 표시되는지
- USB를 연결한 뒤 UEFI Boot Manager에서 Reset System을 실행했는지
- CD/DVD 장치의 Connect at power on이 해제되어 있는지
- 설치 USB가 실제 PC에서도 정상적으로 부팅되는 상태인지
설치 USB를 가상 머신에 연결했는데도 부팅 장치 목록에 나타나지 않는다면 VM → Removable Devices에서 USB를 분리했다가 다시 연결합니다. 이후 UEFI Boot Manager에서 Reset System을 실행해 가상 머신을 다시 시작하면 연결된 USB 장치를 새로 인식합니다.
자주 묻는 질문
ISO 파일 대신 설치 USB를 사용하는 이유는 무엇인가요?
VMware 가상 머신에 Windows 11 설치를 진행할 때는 ISO 파일을 가상 CD/DVD 드라이브에 연결하는 방법이 더 간단합니다. 다만 실제 PC용으로 만들어 둔 설치 USB가 정상적으로 부팅되는지 확인하거나 Ventoy의 부팅 메뉴와 기능을 테스트하려면 USB를 직접 연결하는 방법이 유용합니다.
Rufus나 미디어 생성 도구로 만든 설치 USB도 사용할 수 있나요?
네. Ventoy뿐만 아니라 Rufus 또는 Microsoft 미디어 생성 도구로 만든 Windows 11 설치 USB도 사용할 수 있습니다. Ventoy USB는 부팅 후 저장된 ISO 파일을 선택해야 하지만, 일반 설치 USB는 별도의 선택 화면 없이 Windows 11 설치 프로그램이 바로 실행된다는 차이가 있습니다.
설치 USB가 호스트 PC의 파일 탐색기에서 사라진 이유는 무엇인가요?
Connect (Disconnect from Host)를 실행하면 USB 장치의 연결 대상이 호스트 Windows에서 가상 머신으로 변경됩니다. 따라서 가상 머신에 연결된 동안에는 호스트 PC의 파일 탐색기에서 USB 드라이브가 보이지 않거나 접근할 수 없게 될 수 있습니다. 작업을 마친 뒤 Disconnect (Connect to Host)를 선택하면 다시 호스트 PC에서 사용할 수 있습니다.
USB를 연결할 때마다 Reset System을 실행해야 하나요?
항상 필요한 것은 아닙니다. UEFI Boot Manager 화면을 연 다음 설치 USB를 연결했다면 기존 부팅 장치 목록에 USB가 나타나지 않을 수 있습니다. 이때 Reset System을 실행하면 가상 머신이 다시 시작되면서 연결된 USB 장치를 새로 인식합니다. USB가 이미 부팅 장치 목록에 표시되어 있다면 바로 선택해도 됩니다.
이 방법으로 USB 메모리의 데이터가 삭제되나요?
설치 USB를 가상 머신에 연결하고 부팅하는 것만으로는 USB에 저장된 파일이 삭제되지 않습니다. Windows 11 설치 프로그램에서 대상으로 사용하는 디스크도 일반적으로 VMware 가상 머신에 생성한 가상 디스크입니다. 다만 Ventoy USB에 ISO 파일을 추가하거나 설치 USB를 새로 제작하는 과정에서는 USB가 포맷될 수 있으므로 필요한 파일을 미리 백업해야 합니다.
설치 USB가 목록에 나타나지 않으면 어떻게 해야 하나요?
먼저 VM → Removable Devices에서 설치 USB의 메뉴가 Disconnect (Connect to Host)로 표시되는지 확인합니다. 정상적으로 연결되어 있는데도 나타나지 않는다면 USB를 가상 머신에서 분리했다가 다시 연결한 뒤 Reset System을 실행합니다. 그래도 인식되지 않는 경우에는 해당 USB가 실제 PC에서도 정상적으로 부팅되는지 확인하는 것이 좋습니다.
마무리
지금까지 Windows 11 설치 USB를 VMware 가상 머신에 연결하고 USB로 부팅하는 방법을 알아봤습니다.
핵심은 가상 머신을 Power On to Firmware로 실행한 뒤, 호스트 PC에 연결된 설치 USB를 VM → Removable Devices 메뉴에서 가상 머신으로 넘기는 것입니다. USB를 연결한 다음 UEFI Boot Manager에서 Reset System을 실행하면 설치 USB를 새로 인식하여 Windows 11 설치 프로그램이나 Ventoy 부팅 화면으로 진입할 수 있습니다.
이 방법은 VMware 가상 머신에 Windows 11 설치를 진행할 때뿐만 아니라, 만들어 둔 Windows 설치 USB가 정상적으로 부팅되는지 확인하거나 Ventoy의 부팅 기능을 테스트할 때도 활용할 수 있습니다.
테스트를 마친 뒤에는 VM → Removable Devices 에서 설치 USB를 선택하고 Disconnect (Connect to Host)를 클릭하면 USB 장치를 호스트 PC로 다시 연결할 수 있습니다.