[vmware]vCenter STS certificate expired

갑자기 veeam백업이 실패한다는 텔레그램 알람떠서

실제 백업서버로그를 보니 로그인 인증이 실패햇다는 메세지 내용을 확인.

실제 vcenter를 접속해볼려니 아래처럼 로그인이 되지 않음.

윈도우 보안 업데이트 겸 재부팅했더니 아래와 같이 오류 뿜뿜

[400] vCenter Single Sign-On 서버에 인증 요청을 보내는 동안 오류가 발생했습니다(vCenter Single Sign-On 설정 중 메타데이터를 처리하는 동안 오류가 발생했습니다.

veeam백업된 이전 vcenter이미지로 복원해도 마찬가지.

vcenter 로그를 보니 인증서 문제확인!!

vCenter는 STS Token (Security Token Service) 인증을 통해 SSO에 자격 증명 과정을 거친다.

자격 증명을 STS 인터페이스에 제공해 SAML 토큰을 획득하여 vCenter SSO에 접근하는 방식인데,

모든 vCenter의 STS Token에는 인증서 수명이 있다.

6.5 라인 중 U2 이상의 빌드에서는 이 인증서 수명이 2년밖에 되지 않는다.

내 경우는 6.0 U3, 6.5U3에서 발생했고 6.0U3를 "다시 설치"했더니 인증서 수명이 10년이었다.

테스트 삼아 6.5U3를 "재설치"가 아닌 인증서 "갱신"했을 땐 2년만 늘어났었다.

버전이나 빌드에 따라 조금씩 다른 것으로 보인다.


한창 6.0과 6.5가 새로 나왔을 때, 설치/업그레이드를 빈번히 했을테니 최근 동시에 터지고 있는 이슈이다.



참고사항
vCenter 업그레이드를 해도 인증서는 refresh 되지 않는다.
인증서 만료는 Appliance와 Windows 모두 발생한다. 갱신 프로세스는 동일하지만 과정이 조금 다르다.
vSphere 환경이라면 재설치가 간편한 방법일 수 있다.
하지만 vSAN, NSX, SRM, Replication, 백업 등 추가 솔루션을 함께 쓰는 경우는 최대한 갱신 방향으로 보는 것이 좋다. 갱신 후에도 재등록이 필요하다.


vCenter서버에 접속하여 C드라이브 내 Temp 폴더에 해당 파일들을 업로드.

fixsts.ps1

0.01MB

vmware-identity-sso-config67u3g.jar

0.06MB

checksts.py

0.01MB

* 6.7U3g 이하 버전이라면 vmware-identity-sso-config67u3g 파일도 함께 다운받는다.

PowerShell 실행 후 아래와 같이 진행

Windows PowerShell
Copyright (C) 2016 Microsoft Corporation. All rights reserved.

PS C:\Users\Administrator> cd C:\temp
PS C:\temp> dir


    디렉터리: C:\temp


Mode                LastWriteTime         Length Name
----                -------------         ------ ----
-a----     2022-07-04   오전 9:01          10103 fixsts.ps1
-a----     2022-07-04   오전 9:00          61979 vmware-identity-sso-config67u3g.jar


PS C:\temp> .\fixsts.ps1
Generating New STS Certificate
Status : Success
Using config file : C:\Program Files\VMware\vCenter Server\vmcad\certool.cfg
Status : Success
User DN is: cn=administrator,cn=users,dc=hosting,dc=co,dc=kr
Successfully deleted cn=TrustedCertChain-1,cn=TrustedCertificateChains,cn=hosting.co.kr,cn=Tenants,cn=IdentityManage
r,cn=Services,DC=hosting,DC=co,DC=kr
Successfully deleted cn=TenantCredential-1,cn=hosting.co.kr,cn=Tenants,cn=IdentityManager,cn=Services,DC=hosting
,DC=co,DC=kr
vCenter Server Version is 6.5.0.63630 Build 9451637
All STS Tenant branches deleted!

Re-creating STS tenant
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/C:/Program%20Files/VMware/vCenter%20Server/VMware%20Identity%20Services/log4j-slf4j-i
mpl-2.2.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/C:/Program%20Files/VMware/vCenter%20Server/VMware%20Identity%20Services/slf4j-log4j12
-1.6.4.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
STS Certificate Replaced Successfully!!, please restart the services
Since the STS certificate has been replaced, you may need to re-register external solutions (SRM, NSX, etc.)
PS C:\temp>
PS C:\temp>

vCenter서버 리부팅!!

아래와 같이 서비스 확인

PS C:\Program Files\VMware\vCenter Server\bin> .\service-control --status
Running:
 EsxAgentManager VMWareAfdService VMWareCertificateService VMWareDirectoryService VMwareComponentManager VMwareDNSServic
e VMwareIdentityMgmtService VMwareSTS VServiceManager content-library rhttpproxy vPostgres vapiEndpoint vimPBSM vmon vmo
napi vmsyslogcollector vmware-cis-config vmware-license vmware-perfcharts vmware-psc-client vmwareServiceControlAgent vp
xd vpxd-svcs vsan-health vsphere-ui vspherewebclientsvc
Stopped:
 VMWareCAMService mbcs vmware-autodeploy-waiter vmware-imagebuilder vmware-network-coredump

만약 vCenter 접속이 안된다면?

certifiacate-manager 파일을 실행하여 Option value로 8번을 입력한다.

Windows PowerShell
Copyright (C) 2016 Microsoft Corporation. All rights reserved.

PS C:\Program Files\VMware\vCenter Server\vmcad> .\certificate-manager.bat
                 _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _
                |                                                                     |
                |      *** Welcome to the vSphere 6.5 Certificate Manager  ***        |
                |                                                                     |
                |                   -- Select Operation --                            |
                |                                                                     |
                |      1. Replace Machine SSL certificate with Custom Certificate     |
                |                                                                     |
                |      2. Replace VMCA Root certificate with Custom Signing           |
                |         Certificate and replace all Certificates                    |
                |                                                                     |
                |      3. Replace Machine SSL certificate with VMCA Certificate       |
                |                                                                     |
                |      4. Regenerate a new VMCA Root Certificate and                  |
                |         replace all certificates                                    |
                |                                                                     |
                |      5. Replace Solution user certificates with                     |
                |         Custom Certificate                                          |
                |                                                                     |
                |      6. Replace Solution user certificates with VMCA certificates   |
                |                                                                     |
                |      7. Revert last performed operation by re-publishing old        |
                |         certificates                                                |
                |                                                                     |
                |      8. Reset all Certificates                                      |
                |_ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _|
Note : Use Ctrl-Z and hit Enter to exit.
Option[1 to 8]:

여러 옵션 값을 입력하라 나오는데, IP Address/FQDN/VMCA 값만 제외하고 Default로 Enter를 누른다.

IP Address는 vCenter IP, FQDN는 FQDN 혹은 IP, VMCA도 FQDN 혹은 IP를 입력하면 된다.

C:\Program Files\VMware\vCenter Server\vmafdd\" vmafd-cli.exe get-pnid --server-name localhost

service reset을 알아서 진행할텐데, 85%에서 오래 걸린다. 여유를 갖고 기다리면 마무리된다.

VMware KB (Windows STS 만료)
https://kb.vmware.com/s/article/79263

"Signing certificate is not valid" error in vCenter Server 6.5.x and 6.7.x on Windows

VMware KB (VMCA 인증서 갱신)
https://kb.vmware.com/s/article/2112283

How to regenerate vSphere 6.x, 7.x, and 8.0 certificates using self-signed VMCA

get stscert
https://github.com/vmwarecode/Get-STSCerts.ps1/blob/master/Get-STSCerts.ps1

Get-STSCerts.ps1/Get-STSCerts.ps1 at master · vmwarecode/Get-STSCerts.ps1

checkSTS
https://knowledge.broadcom.com/external/article/318968/checking-expiration-of-sts-certificate-o.html

Checking Expiration of STS Certificate on vCenter Servers