[Ryzen] 8코어 PC로 vSphere 6.5 서버 구축해 보기 Computer Tip

2014 맥북프로를 사용한지 만 4년이 더 지나고 있습니다.

그동안 꼬박 4년 이상을 하나의 노트북을 전적으로 사용해 본 적이 없는데,
이번에는 계속 사용하고 있으면서 더 바꿀 필요를 아직 못 느끼고 있습니다.

과거 이 맥북프로로 바꾼 이유 중에 하나가 바로 가상머신을 여럿 사용하면서
바꾸게 된 이유였었는데 중간에 docker 라는 새로운 가상화 기술이 나오면서 
충분히 10여개 이상도 개발하면서 이용할 수 있다고 생각하고 사용했었습니다.

그런데 최근에 build 시스템이나 테스트 시스템, 개발 시스템 등등
Windows, MacOS, Linux 등에 모두 돌려보고 build 해 보고, 테스트 해 봐야 하는
상황이 발생하는 시점에서 데스크탑을 하나 구입하여 그곳에 vSphere Server를
설치하고 VM 을 돌려야되겠다고 마음먹었습니다.

거의 20년 만에 데스크탑을 새롭게 꾸며 보는 것이라 예전 생각도 나고 하더군요.

그래서 오마이PC 라는 곳에서 주문을 하게됩니다.

(위의 사진은 잘 돌고 있는 모습입니다)

제품은 60만여원이라는 아주싼 가격의 PC를 vSphere 서버용으로 멀티코어와 메모리를 다음과 같이 늘려 구성해 보았습니다.

뭐 특별히 ML 등을 돌릴 것이 아니므로 그래픽, 사운드 등등은 그대로 둔 상태입니다.

그런데 여기서 한가지 공부를 하게 됩니다. CPU가 인텔이 아니라 라이젠(Ryzen) 이라는 것이 있다는 군요.
오호, 2016년 7월에 소프트뱅크가 무려 33조원 정도의 가격으로 인수한 AMD 회사에서 CPU가 나왔군요.
들리는 말로는 AMD가 고전을 면치 못하고 있다가 2017년도에 나온 이 Ryzen CPU가 떠서 회사가
되살아 났다는 이야기도 있었는데.. 암튼 손정의가 대단한 것인지 AMD가 인텔과의 경기에서
신의한수를 둔 것인지는 뭐 시간이 더 흘러봐야 알 것 같구요..

암튼 이번에 선택한 것이 유사한 8코어 16쓰레드 모델인 Intel 커피레이크 9900K 등에 비해서
성능은 약간 딸릴 지언정 가격의 거의 1/3 이라는 것을 보고는 얼마전 구입했던 포코폰이 떠 올랐습니다.  
뭐 유사한 성능의 폰에 비해서 거의 1/3 가격이고, 나름 너무 만족해서 잘 사용하고 있거든요.

그러니까 쉽게 말하면 기존에 어떤 1등하던 제품이 있어, 우리만 믿고 계속 그 가격에 사용자가 살 거야..
하는 대신 우리는 3등인데 동일한 성능, 기능에 가격은 1/3 이야. 우리 한번 믿어봐~

물론 싼게 비지떡이라는 경험을 수많이 해 보았지만, 역시 도전을 또 해봐야 
시장에 영원한 1등은 없다라는 진리가 통하는 것이겠지요.

도전! (vSphere Server 설치기에 어쩌구 저쩌구 이야기 들이 있었지만, 성공했다는 
구글링을 통해 결심했습니다)

오랫만에 용산에 가서 직접 방문 수령을 해 왔는데, 저렇게 박스를 다 주었습니다.

마더보드와 그래픽 카드 상자는 별도로 주는 거군요...

가서 보았더니 조립하는 사람들이 십여명 정도 있는 제법 큰 회사 같았는데, 요즘은 이렇게 마더보드가 작아지고,
하드도 별도 하단에 손이 안 닿게 깔끔하게 조립이 되어 있었습니다. (헌데 하드 교체하거나 추가하려면...?)

최초 연결하자 마자 이런 BIOS가 뜨고... (헉! 예전 텍스트 모드의 BIOS 화면이 아니라 놀랐다는...)

VMWare vSphere Server 6.5 Update2의 ISO를 USB 스틱에 담아 설치 진행을 해 봅니다.

오! 깔끔하게 설치가 시작되는구나... 

하고 생각하던 중에, 이런 NFS가 안된다는 곳에서 뜸을 들이더니..

아뿔싸. 마더보드에 포함되어 있는 네트워크 카드를 인식하지 못해 오류를 뱉어내고 끝나버리네요.

위와 같이 가지고 있는 두 가지의 USB2Ethernet(RJ45) 어답터 카드로 시도해 봐도 동일했습니다.

다음은 시행착오를 반나절 하다가 결국 성공한 결과를 알려드리겠습니다.

BIOS의 MIT 에서 SVM Mode 가 Enable 되어 있어야 하고, (디폴트로 되어 있었습니다)

Chipset 에 IOMMU 모드를 꼭 "Enabled" 해 놓아야 했습니다. 
(정확한 이유는 모르겠는데..)

이것이 설정되어 있지 않으면 vSphere Server를 설치하다가 CPU virtualization이 안되어 있다는 오류가 발생하고 설치가 안됩니다.
그리고 가장 시간을 많이 잡아 먹은 것이 바로 랜카드 인식하도록 하는 것이었습니다.

GigaByte AB350M Gaming 3 메인보드의 랜카드는,

Realtek 기가 이더넷 랜 이네요. 예전에는 대표적으로 지원한 것이 리얼텍인데 이상하게
vSphere Server 에서 리얼텍 랜카드를 디폴트로 지원하지 않아 문제가 발생한 것입니다.

다음의 과정은 좀 긴데, 쉽게 이야기 하면 배포용 ISO 대신 3-party의 드라이버를 넣은 ISO 이미지를
따로 만들어 설치하는 것이라 할 수 있습니다.

우선 vSphere Hypervisor (ESXi) 6.5 U2의 첫번째 ISO와 두번쨰 Offline Bundle zip 을 다운 받습니다.

net55-r8168 을 선택하고,

하단의 Offline Bundle ... 로 되어 있는 링크를 다운받습니다.

이런 일련의 작업을 VMware.PowerCLI 라는 것을 이용해서 할 수 있는데,
다운받지 않고 윈도우의 파워쉘에서 패키지 인스톨을 할 우 있도록 되어 있군요.
(apt, npm, pip 등처럼 파워쉘도 패키징을 가지고 있다는 사실을 처음 알았네요.

다음과 같이 진행을 합니다.

윈도우 (맥의 패러렐즈 윈도우10에서도 잘 동작합니다) 10에서 
C:tmpvSphere6.5-install 에 위에서 다운 받은 파일 3개를 다음과 같이 넣었습니다.
(PS C:tmpvSphere6.5-install> 는 프롬프트 이므로 그 다음에 나오는 문자열을 사용하시면 됩니다)

PS C:tmpvSphere6.5-install> dir

    디렉터리: C:tmpvSphere6.5-install
Mode                LastWriteTime         Length Name
----                -------------         ------ ----
-a----       2018-11-16   오후 5:55        1131668 net55-r8168-8.045a-napi-offline_bundle.zip
-a----       2018-11-15   오후 2:34      486604621 update-from-esxi6.5-6.5_update02.zip
-a----       2018-11-15   오후 2:34      354357248 VMware-VMvisor-Installer-6.5.0.update02-8294253.x86_64.iso
  
그 다음 다음 명령으로 설치를 합니다.

PS C:tmpvSphere6.5-install> Install-Module -Name VMware.PowerCLI
...
나중에 안 사실인데, 맥에서도 "brew cask install powershell" 라고 파워쉘을 설치할 수 있다는 군요.
결국 bash, csh 등과 같은 쉘 이라는 것이네요.
하지만 맥에서는 실패했으므로 윈도우에 돌렸습니다.

그 다음 "Add-EsxSoftwareDepot .update-from-esxi6.5-6.5_update02.zip" 라는 명령을 내려 vSphere Offline Bundle 패키지를 가져와야 하는데,

위와 같은 식의 오류가 자꾸 발생했습니다.
결국은 다음 명령으로 외부 패키지 제한을 해지해야 되는 것이었습니다.

PS C:tmpvSphere6.5-install> Set-ExecutionPolicy Unrestricted

자, 이제는 다음과 같이 하나 하나 명령을 내려가면 되었습니다.

PS C:tmpvSphere6.5-install> Add-EsxSoftwareDepot .update-from-esxi6.5-6.5_update02.zip

Depot Url
---------
zip:C:tmpvSphere6.5-installupdate-from-esxi6.5-6.5_update02.zip?index.xml

위에 이야기 한 것 처럼 vSphere Offline Bundle 패키지 색인을 가져왔고,

PS C:tmpvSphere6.5-install> Add-EsxSoftwareDepot .net55-r8168-8.045a-napi-offline_bundle.zip

Depot Url
---------
zip:C:tmpvSphere6.5-installnet55-r8168-8.045a-napi-offline_bundle.zip?index.xml

위와 같이 설치할 RealTek 드라이버의 Offline Bundle 의 색인을 가져왔습니다.

그리고 잘 가져왔는지 확인합니다.

PS C:tmpvSphere6.5-install> Get-EsxSoftwareDepot

Depot Url
---------
zip:C:tmpvSphere6.5-installupdate-from-esxi6.5-6.5_update02.zip?index.xml
zip:C:tmpvSphere6.5-installnet55-r8168-8.045a-napi-offline_bundle.zip?index.xml

다음으로 현재 서버의 이미지 프로파일을 확인합니다.

PS C:tmpvSphere6.5-install> Get-EsxImageProfile

Name                           Vendor          Last Modified   Acceptance Level
----                           ------          -------------   ----------------
ESXi-6.5.0-20180501001s-no-... VMware, Inc.    2018-04-18 오... PartnerSupported
ESXi-6.5.0-20180502001-no-t... VMware, Inc.    2018-04-18 오... PartnerSupported
ESXi-6.5.0-20180501001s-sta... VMware, Inc.    2018-04-18 오... PartnerSupported
ESXi-6.5.0-20180502001-stan... VMware, Inc.    2018-04-18 오... PartnerSupported

새로운 이미지 프로파일을 만듭니다.

PS C:tmpvSphere6.5-install> New-EsxImageProfile -cloneprofile ESXi-6.5.0-20180502001-standard -Name “RealTek8186a”
cmdlet New-EsxImageProfile(명령 파이프라인 위치 1)
다음 매개 변수에 대한 값을 제공하십시오.
(도움말을 보려면 !?을(를) 입력하십시오.)
Vendor: vmexplorer

Name                           Vendor          Last Modified   Acceptance Level
----                           ------          -------------   ----------------
RealTek8186a                   vmexplorer      2018-04-18 오... PartnerSupported

ESXi-6.5.0-20180502001-standard 부분은 위의 Get-EsxImageProfile 결과의 내용입니다.

PS C:tmpvSphere6.5-install> Set-EsxImageProfile -Name RealTek8186a -AcceptanceLevel CommunitySupported
cmdlet Set-EsxImageProfile(명령 파이프라인 위치 1)
다음 매개 변수에 대한 값을 제공하십시오.
(도움말을 보려면 !?을(를) 입력하십시오.)
ImageProfile: RealTek8186a

Name                           Vendor          Last Modified   Acceptance Level
----                           ------          -------------   ----------------
RealTek8186a                   vmexplorer      2018-11-16 오... CommunitySupported

이제 프로파일 속성을 바꿔주고,

PS C:tmpvSphere6.5-install> Get-EsxSoftwarePackage | Where {$_.Vendor -eq "Realtek"}

Name                     Version                        Vendor     Creation Date
----                     -------                        ------     -------------
net55-r8168              8.045a-napi                    Realtek    2018-04-16 오전...

위와 같이 해당 드라이버의 이름 "net55-r8168"을 가져왔습니다.

이제 기존 것에 "net55-r8168"을 다음과 같이 추가합니다.

PS C:tmpvSphere6.5-install> Add-EsxSoftwarePackage -ImageProfile RealTek8186a -SoftwarePackage net55-r8168

Name                           Vendor          Last Modified   Acceptance Level
----                           ------          -------------   ----------------
RealTek8186a                   vmexplorer      2018-11-16 오... CommunitySupported

(필요에 따라 여러 드라이버를 한꺼번에 추가할 수도 있겠습니다)

이제 마지막으로 위에서 지정한 것을 ISO 이미지로 생성하면 끝입니다.

PS C:tmpvSphere6.5-install> Export-EsxImageProfile -ImageProfile “RealTek8186a” -ExportToIso -FilePath c:tmpRealTek8186a.iso

기존 iso 이미지 크기가 338M 인데 추가된 RealTek8186a.iso 이미지는 339M 였습니다.
(기존 우분투 등등의 리눅스 등에 비하여 상당히 작게 잘 만들어 놓은 듯 보입니다)

이렇게 만들어진 RealTek8186a.iso 를 다시 USB 스틱에 구워 (맥에서 굽는 방법은 다음을 참조하시면 됩니다)

그래서 다시 설치를 하니, 노란 진행화면이 지나고 나서,

위와 같이 설치 진행 화면이 뜨는 것이었습니다.
(문제가 없었다면 이런 수고도 안했겠지만, 대신 어떤 문제를 어렵게 풀어 해결되면 아주 뿌~듯 합니다 ^^)

EULA를 넣고,

SSD에 ESXi 서버를 설치한다고 진행하고,

디스크 덮어쓴다고 하고,

한국어는 없어 그냥 US Default로 지정하고,

root 암호를 넣었습니다.

마지막 확인에서 F11 로 인스톨 하라고 하면,

진행을 하다가, (USB 3.0 스틱이라 그런지 아니면 CPU가 빨라서 그런지 오분도 채 안걸린듯 하네요)

드디어 잘 설치되었다고 나옵니다.

설치 USB 스틱을 재거하고 재부팅을 하면, 위와 같이 정상적으로 마더보드, CPU, Memory 정보가 보이고,
하단에 접속 주소가 보입니다. (호스트 이름이 ubuntu 라 들어가 있는 것이 보입니다)

웹 브라우저로 접속하여 root 암호를 넣고 나면 위와 같이 잘 나옵니다.

최초 박혀있는 ubuntu 대신 자신의 호스트이름을 넣으려면,

네트워킹 > TCP/IP stacks > Default TCP/IP Stack 을 선택하고,

Edit 를 눌러,

수정해 줍니다.

과거에는 C# 관리 콘솔로 들어왔어야 했는데 이제는 HTML5 로 이렇게 훌륭하게 관리 콘솔이 될 뿐만 아니라,

설치된 VM에서 "Open browser console" 을 하면,

이렇게 훌륭한 웹 콘솔이 뜹니다. 이렇게 하면 https 포트인 443 만 열거나 포트 포워딩하여 모든 작업이 가능합니다.
만약 VMWare Remote Console 이라는 것을 다운받아 실행하려면 902 포트가 별도로 열려야 합니다.

기존에 맥북프로에서 패러렐즈로 돌리다 이렇게 빵빵한 데스크탑에서 돌리니 개발에 가속이 붙을 것 같은 느낌이 다 듭니다.


한가지 아쉬운 것은 Mac 의 시에라인 OS X 10.12 도 에뮬레이션을 시켜 준다고 하는데, 돌려보니
Ryzen 때문인가 설치가 안되는 점이 있었습니다. (성공하신 분이 있으시면 알려주십시오)


어느 분께는 도움이 되셨기를 바라며..



핑백

  • [지훈현서] [Ryzen] 8코어 PC로 vSphere 6.5 서버 구축해 보기 - DEVBLOG - 개발자 메타블로그 2018-11-17 21:02:30 #

    ... OG 소개 2018년 11월 17일 / 미분류 [지훈현서] [Ryzen] 8코어 PC로 vSphere 6.5 서버 구축해 보기 원문 링크 [Ryzen] 8코어 PC로 vSphere 6.5 서버 구축해 보기 미리보기 2014 맥북프로를 사용한지 만 4년이 더 지나고 있습니다. 그동안 꼬박 4년 이상을 하나의 노트북을 전적으로 사용해 본 ... more

  • 지훈현서 : [ESXi 6.5] FreeNAS 로 Windows, MacOS, Linux 공유 폴더 만들기 2018-11-21 12:29:18 #

    ... 며칠 전 포스트에 Ryzen 7 2700X CPU로 vSphere Hypervisor (ESXi) 6.5 를 구축한 것을 블로그에 남긴 적이 있습니다. Docker도 마찬가지지만 VM 들도 작업을 하는 주체로 이미지를 만들어 작업하다보면 ... more

  • 지훈현서 : [ESXi 6.5] 각 VM간 Copy & Paste 지원 2018-11-21 18:44:52 #

    ... 원하도록 한다면 말이 틀려집니다.그래서 vSphere Hypervisor (ESXi) 에 꽃혀 사용해 본 것이 2008년 이후입니다만,최근에 다시 Ryzen 이라는 AMD CPU 를 꼽은 데스크탑을 꾸미면서시도해 보게 됩니다. 하나 하나 풀어보아야 상황은 발생하고 해서, 정리를 해 놓습니다. 이번에는 하나의 컴/VM 에서 어떤 텍스트 ... more

  • 지훈현서 : [ESXi 6.5] 네트워크에 대한 고찰 2018-11-24 23:28:46 #

    ... ESXi 6.5 를 도입해서 사용하는데 개인적으로 AMD Ryzen7 2700X 8코어 16쓰레드 데스크탑에 구축도 하였거니와,전용 HP 중고 서버를 하나 구입해서 사용하게 되었습니다. HP DL380p Gen8 서버이고 24 개 CPU에 128 ... more

  • 지훈현서 : [Linux Desktop] Elementary OS를 ESXi 6.5에 설치해 보기 2018-12-01 11:35:23 #

    ... 는 그 중에 하나인 Elementary OS 를 ESXi 6.5 에 설치를 해 보았습니다. 설치를 마치고 VMTools까지 잘 마무리 한 다음 모습입니다. 요즘 개인용 ESXi 서버에 가상 Mac 을 제외하고는 모든 다른 리눅스나 윈도우를 설치하면서 작업을 가속화 하고 있습니다.(궁극적인 목적은 1-box DevOps 환경을 갖추는 ... more

덧글

  • virustotal 2018/11/17 18:26 # 답글

    서버?? 15테라도 나오는 시대에 하드용량이 적네요???
  • 지훈현서아빠 2018/11/17 19:14 #

    저도 백업으로는 8T, 4T 등등이 있으나, 이것들은 아직
    메인 HDD로 돌리기에 버퍼나 RPM 등이 낮더라구요.
    하여튼 가성비로 붙여 쓰기에 제일 좋은 것을 하나 달았구요,
    부족한 것은 NAS 연동을 해 보려 합니다.
댓글 입력 영역

구글애드텍스트