按照微软通常的架构，整体的服务平台基于Active Directory（活动目录）域服务，Hyper-V群集与微软私有云也不例外，在部署超融合Hyper-V群集之前，我们需要先部署ActiveDirectory，在生产项目中，我们建议至少使用一台物理服务器部署活动目录主域控，如果没有专门的服务器部署ActiveDirectory，我们可以采取将ActiveDirectory域控制器部署在Hyper-V本地的方式，在部署群集之前，先安装Hyper-V角色，安装1-2台AD活动目录虚拟机，将其存放在服务器本地磁盘中，活动目录部署完毕后，再开始构建Hyper-V超融合群集。
S2D要求对硬盘直接操作，存储设备(加入S2D的服务器)不得使用raid模式，只能用直通模式(no-raid)，有阵列卡的服务器需要删除阵列做直通模式(no-raid)，请参考教程www.piis.cn/jiaocheng/2159.html

步骤	操作  安装AD域控制器
	登录需要安装AD域控制器的服务器(Win2016或以上的系统,我这里更改计算机名设置为mscloud)，打开服务管理器，点击“添加角色和功能”
	在服务器角色页，勾选“Active Directory 域服务”，然后点击“下一步”
	在“功能”页和“AD DS”页，保持默认直接点击“下一步”
	在“确认”页，点击“安装”
	角色安装完毕后，点击如下所示的“将此服务器提升为域控制器”
	在“部署配置”页，选择“添加新林”，根域名输入“mscloud.local”然后点击“下一步”
	林功能级别和域功能级别，均选择“Windows Server 2022”，选择“域名系统（DNS）服务器”和“全局编录”，输入目录服务还原模式密码，然后点击“下一步”
	DNS选项页直接点击“下一步”
	在其他选项页，NETBIOS根域名保持默认，直接点击“下一步”
	在“路径”页，AD数据库文件位置均保持默认，直接点击“下一步”
	在查看选项页，检查配置是否有误，确认无误后，点击“下一步”
	在“先决条件检查”页，当所有功能都检查通过后，点击“安装”
	活动目录安装完毕后，服务器会自动重启
	重启后，打开“控制面板”>“管理工具”，可以看到活动目录的管理工具
	打开“Active Directory用户和计算机”
	按照如下类别建立测试OU 微软私有云测试 计算机 服务器 用户 管理员用户
	在管理员用户OU中创建“sql服务账户”(请更具你实际情况看是否创建)以及System Center管理员账户 因为我们后面需要安装SCVMM（虚拟化管理平台）、SCCM（配置管理平台、补丁管理）、 SCOM（服务器监控）、 SCDPM（虚拟化备份平台）所以这里就创建下面5个用户

1.最少2台 存储服务器操作系统安装（略）
a) 操作系统安装Windows Server 2022 DataCenter版本
b) 系统安装完毕后更新补丁到最新状态
2. 服务器功能角色安装
a) 安装Hyper-V角色、可故障转移群集角色、DCB角色
3. 网络配置
a) 配置虚拟网卡
b) 配置网络Qos策略
服务器Hyper-V功能角色安装与基础设置：

步骤	操作
1	服务器操作系统安装完毕后，安装如下角色功能 l Hyper-V 服务 l 故障转移群集 l Data Center Bridging（数据中心桥接） 安装脚本如下所示： Install-WindowsFeature -Name "Data-Center-Bridging","Failover-Clustering","Hyper-V","RSAT-Clustering-PowerShell","Hyper-V-PowerShell" -IncludeAllsubfeature -IncludeManagementTools -Verbose
2	依次在所有服务器上安装，安装完成后重启服务器
3	更改计算机名为HV-HOST01和HV-HOST02并重启 (因为这里有2台hyper-V存储服务器)
4	配置防火墙（测试阶段建议关闭Windows防火墙）
5	配置网络后，将计算机加入域

创建虚拟交换机：

步骤	操作
1	在超融合中，我们使用微软最新的SET网络绑定技术，使用融合的方式来聚合2个10Gb的网络端口，并在融合端口上划分出逻辑端口承载不同的流量
2	创建虚拟交换机，并启用SET New-VMSwitch –Name SETswitch –NetAdapterName "TEN1", "TEN2" -AllowManagementOS $true –EnableEmbeddedTeaming $true
3	重命名创建出来的管理虚拟网卡名称（默认名称与虚拟交换机名称一样） Rename-VMNetworkAdapter -Name TeamedvSwitch -NewName Management
4	设置管理虚拟网卡所属的VLAN Set-VMNetworkAdapterVlan -VMNetworkAdapterName Management -access -VlanId 11 -ManagementOS
5	配置好之后，设置管理虚拟网卡的IP地址，下图为示例
6	设置好IP地址后，加入AD域
7	加入AD域重启后，打开Powershell
8	输入如下命令，创建SMB虚拟适配器 Add-VMNetworkAdapter –SwitchName TeamedvSwitch –Name SMB_1 –managementOS Add-VMNetworkAdapter –SwitchName TeamedvSwitch –Name SMB_2 –managementOS
9	配置主机Vnic,以使用VLAN Set-VMNetworkAdapterVlan -VMNetworkAdapterName "SMB_1" -VlanId 100 -Access -ManagementOS Set-VMNetworkAdapterVlan -VMNetworkAdapterName "SMB_2" -VlanId 101 -Access -ManagementOS
10	验证VLAN ID是否已设置 Get-VMNetworkAdapterVlan –ManagementOS
11	重新启动每个Vnic适配器，以便使其属于活动状态 Restart-NetAdapter "vEthernet (SMB_1)" Restart-NetAdapter "vEthernet (SMB_2)"
12	为每个存储虚拟网卡配置IP地址（仅配置IP地址，不配置网关、DNS），并且在高级设置里面，去掉“在DNS中注册此连接的地址”

配置网络QoS：

步骤	操作
1	网络 QoS 用于此超聚合配置，以确保软件定义的存储系统有足够的带宽在节点之间进行通信，从而确保复原和性能
2	为 SMB Direct 设置网络 QoS 策略，这是软件定义的存储系统使用的协议。 New-NetQosPolicy "SMB" –NetDirectPortMatchCondition 445 –PriorityValue8021Action 3
3	如果正在使用 RoCEv2，且尚未安装 Data-Center-Bridging，则进行安装，然后启用 SMB 的流控制，如下所示（iWarp 不需要）： Enable-NetQosFlowControl –Priority 3
4	针对其他流量禁用流控制，如下所示（对于 iWarp 是可选的）： Disable-NetQosFlowControl –Priority 0,1,2,4,5,6,7
5	获取网络适配器列表来识别目标适配器（以查询那些是RDMA 适配器），如下所示： Get-NetAdapter | FT Name, InterfaceDescription, Status, LinkSpeed 在本测试环境中，未配置RDMA适配器
6	将网络 QoS 策略应用于目标适配器（配置聚合的万兆网口，如有RDMA适配器，则选择RDMA网络端口）。 Enable-NetAdapterQos –Name "TEN1", "TEN2"
7	创建流量类别并为 SMB Direct 指定 30% 的最低带宽。 设置类名称将为“SMB” New-NetQosTrafficClass "SMB" –Priority 3 –BandwidthPercentage 30 –Algorithm ETS

前面已经部署好了微软活动目录AD域控服务器，现我们需要将所有的Hyper-V服务器加入域，然后开始创建Hyper-V群集，需要注意的是，如果域控服务器是用虚拟机部署的请确保活动目录虚拟机可以随物理机启动而启动，在VM的设置选项中可以设定。
1) Hyper-V物理服务器加入域  上面我们已经将Hyper-V物理服务器加入域过域就不用操作

2) 部署Hyper-V群集

1	基础环境部署好后，开始创建群集
2	首先进行群集验证，运行群集验证工具，确保正确配置服务器节点，以便使用存储空间直通来创建群集。 当群集验证 (Test-Cluster) 在创建群集之前运行时，它会运行测试，验证配置显示适合成功充当故障转移群集。 以下示例直接使用“-Include”参数，已指定测试的特定类别。 这样可以确保验证中包含存储空间直通特定的测试。 在任意节点上打开PowerShell,执行如下命令开始验证 Test-Cluster –Node HV-HOST01, HV-HOST02, HV-HOST03 –Include "Storage Spaces Direct", "Inventory", "Network", "System Configuration"
	通过在前面步骤中已经验证可用于创建群集的节点来创建群集。 将 –NoStorage 参数添加到 ** cmdlet 非常重要，否则可能会将磁盘自动添加到群集，这样在启用存储空间直通之前需要将其删除，否则它们不会包含在存储空间直通存储池中。 创建群集时，将收到此警告：“创建群集角色时出现的问题可能会阻止其启动。 有关详细信息，请查看以下报告文件。” 可以放心地忽略此警告， 出现此警告是因为群集仲裁上没有可用的磁盘。 建议在创建群集后配置文件共享见证或云见证。 New-Cluster –Name HCI-Cluster –Node HV-HOST01,HV-HOST02,HV-HOST03 –NoStorage
	通过在前面步骤中已经验证可用于创建群集的节点来创建群集。 将 –NoStorage 参数添加到 ** cmdlet 非常重要，否则可能会将磁盘自动添加到群集，这样在启用存储空间直通之前需要将其删除，否则它们不会包含在存储空间直通存储池中。 创建群集时，将收到此警告：“创建群集角色时出现的问题可能会阻止其启动。 有关详细信息，请查看以下报告文件。” 可以放心地忽略此警告， 出现此警告是因为群集仲裁上没有可用的磁盘。 建议在创建群集后配置文件共享见证或云见证。 New-Cluster –Name HCI-Cluster –Node HV-HOST01,HV-HOST02,HV-HOST03 –NoStorage
	如果是图形界面创建群集的过程如下，使用域管理员账户登录到任意一台服务器，打开“控制面板”>“管理工具”中的“故障转移群集管理器”
	打开后点击右侧的“创建群集”
	在起始页点击“下一步”
	在选择服务器页面，输入所有的服务器名称，以逗号隔开，然后点击“添加”
	添加完毕后，点击“下一步”
	输入群集名称与IP地址，然后点击“下一步”
	在“确认”页面，检查存储配置信息是否有误，确认无误后，去掉“将所有符合条件的存储”添加到群集前面的复选框，然后点击“下一步”
	群集创建成功，点击“完成”
	在群集网络页面，将群集网络进行重命名。按照规划分别命名为“群集网络”，“SMB-1”,”SMB-2”
	点击“实时迁移设置” 迁移设置仅勾选“群集网络”，然后点击“确定” 群集创建完毕

StorageSpaceDirect（S2D）分布式存储配置
1. 创建分布式存储
可故障转移群集创建完毕后，接下来在群集中启用分布式存储（Storage Space Direct），来作为群集存储使用。
1) 在启用分布式存储之前，首先需要处理所有磁盘，使所有磁盘处于可用状态
    磁盘要求为：用于存储空间直通的磁盘必须为空且没有分区或其他数据。 如果磁盘有分区或其他数据，那么它不会包含在存储空间直通系统中。
2)下面，通过一个脚本，来清理磁盘，使磁盘处于可用状态
    在任意节点上打开PowerShell控制台，然后输入以下命令
    icm (Get-Cluster -Name HCI-Cluster | Get-ClusterNode) {
    Update-StorageProviderCache
    Get-StoragePool | ? IsPrimordial -eq $false | Set-StoragePool -IsReadOnly:$false -ErrorAction SilentlyContinue
    Get-StoragePool | ? IsPrimordial -eq $false | Get-VirtualDisk | Remove-VirtualDisk -Confirm:$false -ErrorAction SilentlyContinue
    Get-StoragePool | ? IsPrimordial -eq $false | Remove-StoragePool -Confirm:$false -ErrorAction SilentlyContinue
    Get-PhysicalDisk | Reset-PhysicalDisk -ErrorAction SilentlyContinue
    Get-Disk | ? Number -ne $null | ? IsBoot -ne $true | ? IsSystem -ne $true | ? PartitionStyle -ne RAW | % {
    $_ | Set-Disk -isoffline:$false
    $_ | Set-Disk -isreadonly:$false
    $_ | Clear-Disk -RemoveData -RemoveOEM -Confirm:$false
    $_ | Set-Disk -isreadonly:$true
    $_ | Set-Disk -isoffline:$true
    }
    Get-Disk |? Number -ne $null |? IsBoot -ne $true |? IsSystem -ne $true |? PartitionStyle -eq RAW | Group -NoElement -Property FriendlyName
    } | Sort -Property PsComputerName,Count
命令执行完毕后，输出如下

启用存储直通：
    创建群集后，使用 Enable-ClusterStorageSpacesDirect PowerShell cmdlet（它会将存储系统置于存储空间直通模式），并自动执行以下操作：
    创建池：创建具有“S2D on Cluster1”之类的名称的单个大型池。
    配置存储空间直通缓存：如果存在多个媒体（驱动器）类型可供存储空间直通使用，作为缓存设备可实现最快速度（在大多数情况下读取和写入）
层：创建 2 层作为默认层。 其中一个称为“容量”，另一个称为“性能”。 cmdlet 通过组合设备类型和复原能力来分析设备并配置每个层。
    通过管理系统，在以管理员权限打开的 PowerShell 命令窗口中，启动以下命令。 群集名称是在前面的步骤中创建的群集的名称。
5) 使用域管理员身份登录到任意一台物理机，以管理员身份打开PowerShell控制台，然后输入
Enable-ClusterStorageSpacesDirect

确认操作页，输入Y


6)此命令完成（可能需要几分钟时间）之后，系统将准备好要创建卷
    创建完成后，会生成一个报告

打开生成的报告，可以看到自动使用的磁盘状况
8)打开故障转移群集管理器，可以看到创建的存储池信息

9)机箱页，可以看到当前的服务器信息

2.创建存储卷
    所谓卷，就是类似于我们传统存储的存储LUN，在传统存储中，底层磁盘全部整合为一个存储池（或组），然后在存储池（或组）中创建存储LUN，再分配给主机使用。
    微软存储直通---分布式存储池，在整合完所有服务器的本地磁盘成为一个统一存储池后，在上面划分卷，每个卷以类似于传统共享存储的形式挂载到虚拟化集群，最终转换为微软集群所需的群集共享卷（CSV），整体架构图如下所示。

群集中的所有服务器都可以同时访问所有卷。创建卷后，他们会显示在所有服务器上的C:\ClusterStorage\中

1) 在故障转移群集管理器中，导航到存储->池，在右侧点击“新建虚拟磁盘”

2) 选择存储池并单击确定.

3) 在打开的新建虚拟磁盘向导（存储空间直通）页中，点击“下一步”

4) 命名虚拟磁盘然后点击“下一步”

5) 输入虚拟磁盘大小，然后点击“下一步”
6) 检查虚拟磁盘创建设置，确认无误后，点击“创建”
7) 创建完成，勾选“在此向导关闭时创建卷”，然后点击“关闭”

8) 此时将打开新建卷向导

9) 在“服务器和磁盘”页，服务器选择群集，磁盘选择刚才创建的磁盘，然后点击“下一步”

10) 指定卷的大小（与前面设置虚拟磁盘大小相同），然后点击“下一步”
11) 在“驱动器号或文件夹”页，选择“不分配驱动器号或文件夹”，然后点击“下一步”
    Note：因为是给群集做共享卷用，所以不分配驱动器号（此部分设置与传统存储设置一样）

12) 文件系统选择”ReFS”分配单元打啊小选择4096，输入卷标，然后点击“下一步”

13) 查看设置，确认无误后，点击“创建”
14) 卷创建完成后，点击“关闭”
15) 在故障转移群集管理器中，导航到存储->磁盘
    选择刚才创建的虚拟磁盘，然后从右侧的“操作”窗格中，选择添加到群集共享卷



16) 卷创建完成后，在服务器的C:\ClusterStorage中即可看到创建的卷目录

17) 操作完成！根据需要重复操作以创建多个卷
3.创建虚拟机测试
1) 在故障转移群集管理器中，导航到角色，在右侧 点击 虚拟机->新建虚拟机

2) 选择承载虚拟机的物理服务器节点

3) 输入虚拟机名称，存储位置选择我们创建的群集共享卷位置

4) 虚拟机代数选择“第二代”
5) 分配内存页，设置内存大小，然后点击“下一步”
6) 在“配置网络”页面，选择之前创建的虚拟交换机，然后点击“下一步”

7) 设置创建虚拟磁盘的大小，然后点击“下一步”

8) 选择安装操作系统的ISO映像，点击“下一步”
9) 确认虚拟机创建配置，确认无误后，点击“完成”
10) 虚拟机创建完成后，会自动配置群集高可用性，点击“完成”

11) 虚拟机创建完成，点击“启动”启动虚拟机，然后开始安装操作系统

4.存储卷扩展
1) 在日常使用中，经常会面临存储卷空间不足的情况，因此有可能会面临需要扩展存储卷的情况。在三向镜像模式下，每扩充1GB需要三倍的底层空间支撑。
2) 在调整卷大小之前，请确保存储池中有足够的容量，以容纳其新的更大占用空间。 例如，将三向镜像卷的大小从 1 TB 调整为 2 TB 时，其占用空间将从 3 TB 增长到 6 TB。 要成功调整大小，存储池中将至少需要 (6 - 3) = 3 TB 的可用容量。
3) 在存储空间直通中，每个卷都由一些堆叠对象组成：群集共享卷 (CSV)（这是一个卷）、分区、磁盘（这是一个虚拟磁盘）以及一个或多个存储层（如果适用）。 若要调整卷的大小，你将需要调整其中一些对象的大小。

4) 在本次测试中，我将测试将一个500GB的LUN扩容到1TB，LUN（在存储空间直通中称之为虚拟磁盘）的名称为Test-Extend
    首先检查关联的CSV的状态

5) 在扩展卷之前，需要关闭在该卷上的所有VM，并暂停该卷的IO操作
    在任意节点，执行如下命令暂停IO
    Get-ClusterSharedVolume "群集虚拟磁盘(Test-Extend)" | Suspend-ClusterResource

6) 输入如下命令，检查该LUN是否有做自动分层，在我的测试环境，由于只有1个Mirror层，因此并未做分层
    Get-VirtualDisk Test-Extend | Get-StorageTier

7) 使用如下命令检查虚拟磁盘处于哪个存储层
    Get-VirtualDisk -Friendlyname "Test-Extend" | Get-StorageTier | FT Friendlyname, @{Name="Size in GB";Expression={($_.AllocatedSize/1gb)}}
    由于我们是直接使用群集自动配置的，并且只有一层，因此会发现每个虚拟磁盘LUN都是一个Tier

8) 使用如下命令同时扩展LUN与Tier层
    Get-VirtualDisk "Test-Extend" | Get-StorageTier | ? Friendlyname -eq "Test-Extend_Capacity" | Resize-StorageTier -Size 1024GB

9) 当调整 StorageTier 的大小时，VirtualDisk 和 Disk 也会自动跟着调整大小
10) 接下来扩展分区大小（大小单位为B）
    Get-VirtualDisk "Test-Extend"| Get-Disk | Get-Partition | ? Type -eq Basic | Resize-Partition -Size 1099511627776
11) 扩展完毕后，可以看到该卷已经是1 TB了


12) 当调整 Partition 的大小时，Volume 和 ClusterSharedVolume 也会自动跟着调整大小。
13) 扩展完成后，使用如下命令将卷恢复IO操作
    Get-ClusterSharedVolume "群集虚拟磁盘(Test-Extend)" | Resume-ClusterResource

14) 在群集管理器看到CSV大小已经是1TB

15) 扩展完成