Windows2022超融合存储空间直通,Windows2022集群设置,Windows2022虚拟化Hyper-V分布式部署S2D

迅恒数据中心
根据微软超融合规划,分布式存储部署分为两种部署模式,分别为多向镜像模式(类似于传统RAID模式的RAID1),双奇偶校验模式(类似于传统RAID模式的RAID 6)。
三向镜像模式:三向镜像将保留所有数据的三个副本,每个服务器的驱动器上都会保留一个副本。其存储效率为 33.3%,即若要写入 1 TB 的数据,存储池中需要至少 3 TB 的物理存储容量。 三向镜像可以安全写入 一次至少出现两个硬件(驱动器或服务器)问题。 例如,如果你在另一个驱动器或服务器突然发生故障时重新启动一个服务器,则所有数据都将保持安全且可连续访问。
双奇偶校验模式:双奇偶校验提供了与三向镜像相同的容错,但存储效率更好。 如果安装了四个服务器,其存储效率为 50.0%,即若要存储 2 TB 的数据,存储池中需要 4 TB 的物理存储容量。 如果安装了七个服务器,存储效率会上升到 66.7%,并且最高可继续上升到 80.0%。 弊端是奇偶校验编码需要进行更多的计算,这可能会限制其性能。 有关更多详细信息,请参阅“容错和存储效率”。

实际环境中存储直通硬件要求(以下均不含系统盘)
存储空间直通需要 2 到 16 台服务器。 每个服务器必须至少有两个固态硬盘(缓存用途,而且单服务器不支持混合缓存硬盘,必须全NVMe 或全 SSD做缓存,缓存驱动器不会为群集贡献可用的存储容量),至少 4 个其他硬盘。也就是说包含系统盘在内最低的高可用性配置是需要7块硬盘。 SATA 和 SAS 硬盘应位于主机总线适配器 (HBA) 和 SAS 扩展器之后。
关于存储直通中缓存驱动的相关说明(以下均不含系统盘):如果所有驱动器属于同一类型(SAS/SATA/SSD/NVMe),则不会自动配置缓存。 可以选择手动将持久性较高的驱动器配置为针对同一类型的持久性较低的驱动器提供缓存。在某些情况下,使用存储池缓存没有意义。 例如,在全部使用 NVMe 或全部使用 SSD 的部署中,尤其是在极小规模的部署中,不让任何驱动器“支出”容量用于缓存可改进存储效率并最大化性能。
部署 缓存驱动器 容量驱动器 缓存行为(默认)
全使用 NVMe 无(可选:手动配置) NVMe 只写(如果已配置)
全使用 SSD 无(可选:手动配置) SSD 只写(如果已配置)
NVMe + SSD NVMe SSD 只写
NVMe + HDD NVMe HDD 读取 + 写入
SSD + HDD SSD HDD 读取 + 写入
NVMe + SSD + HDD NVMe SSD + HDD HDD 为读取 + 写入,SSD 为只写
手动设置缓存驱动器的方法
在所有驱动器都属于同一类型的部署中(例如,全使用 NVMe 或全使用 SSD 的部署),由于 Windows 无法自动分辨同一类型的驱动器的特征(例如写入持久性),因此不会配置缓存。
若要使用持久性较高的驱动器为类型相同但持久性较低的驱动器提供缓存,可以使用 Enable-ClusterS2D cmdlet 的 -CacheDeviceModel 参数指定要使用的驱动器型号。 该模型的所有驱动器均将用于缓存。
请确保型号字符串与 Get-PhysicalDisk 输出中显示的字符串完全一样。
1、首先获取物理磁盘的列表,在 PowerShell 中执行:
Get-PhysicalDisk | Group Model -NoElement
会出现相关磁盘信息,如:
Count Name
----- ----
    1 ShineDisk M667 128G
    1 WDC WD10EZEX-21WN4A0
2、然后输入以下命令并指定缓存设备型号:
Enable-ClusterS2D -CacheDeviceModel "ShineDisk M667 128G"
3、可以验证所需的驱动器是否正用于缓存,在 PowerShell 中运行 Get-PhysicalDisk,看其 Usage 属性是否显示 "Journal"
修改缓存驱动器的缓存方式
可以修改缓存驱动器的默认缓存行为。 例如,即使在全闪存部署中,也可将其设置缓存驱动器为读取。 除非你确定默认行为不符合工作负荷,否则不建议修改行为
若要修改行为,请结合 -CacheModeSSD 与 -CacheModeHDD 参数使用 Set-ClusterStorageSpacesDirect cmdlet。 CacheModeSSD 参数设置在为 SSD 提供缓存时的缓存行为。 CacheModeHDD 参数设置在为 HDD 提供缓存时的缓存行为。
可以使用 Get-ClusterStorageSpacesDirect 来验证是否已设置该行为。
首先获取存储空间直通设置:
Get-ClusterStorageSpacesDirect
假如是得到这样的结构:
CacheModeHDD : ReadWrite
CacheModeSSD : WriteOnly
然后执行命令修改缓存行为:
Set-ClusterStorageSpacesDirect -CacheModeSSD ReadWrite
Get-ClusterS2D
达到这样的结果:
CacheModeHDD : ReadWrite
CacheModeSSD : ReadWrite

服务器硬盘配置示例(三台服务器做S2D时)(以下均不含系统盘)
1、支持:服务器之间的型号不同 但各类型(SSD\SATA\NVME)的数量相同
前两台服务器使用 NVMe 型号“X”,但第三台服务器使用非常类似的 NVMe 型号“Z”。
服务器 1 服务器 2 服务器 3
2 x NVMe 型号 X(缓存) 2 x NVMe 型号 X(缓存) 2 x NVMe 型号 Z(缓存)
10 x SSD 型号 Y(容量) 10 x SSD 型号 Y(容量) 10 x SSD 型号 Y(容量)
2、支持:服务器内的型号不同 但各类型(SSD\SATA\NVME)的数量相同
每台服务器混合使用一些不同但非常类似的 HDD 型号“Y”和“Z”。 每台服务器总共有 10 个 HDD。
服务器 1 服务器 2 服务器 3
2 x SSD 型号 X(缓存) 2 x SSD 型号 X(缓存) 2 x SSD 型号 X(缓存)
7 x HDD 型号 Y(容量) 5 x HDD 型号 Y(容量) 1 x HDD 型号 Y(容量)
3 x HDD 型号 Z(容量) 5 x HDD 型号 Z(容量) 9 x HDD 型号 Z(容量)
3、支持:服务器之间的大小不同 但各类型(SSD\SATA\NVME)的数量相同
前两台服务器使用 4 TB HDD,但第三台服务器使用非常相似的 6 TB HDD。
服务器 1 服务器 2 服务器 3
2 x 800 GB NVMe(缓存) 2 x 800 GB NVMe(缓存) 2 x 800 GB NVMe(缓存)
4 x 4 TB HDD(容量) 4 x 4 TB HDD(容量) 4 x 6 TB HDD(容量)
这是受支持的,但会导致容量闲置。
4、支持:服务器内的大小不同 但各类型(SSD\SATA\NVME)的数量相同
每台服务器混搭 1.2 TB SSD 和非常类似的 1.6 TB SSD。 每台服务器总共有24 个 SSD。
服务器 1 服务器 2 服务器 3
3 x 1.2 TB SSD(缓存) 2 x 1.2 TB SSD(缓存) 4 x 1.2 TB SSD(缓存)
1 x 1.6 TB SSD(缓存) 2 x 1.6 TB SSD(缓存) -
20 x 4 TB HDD(容量) 20 x 4 TB HDD(容量) 20 x 4 TB HDD(容量)
5、不支持:服务器之间的驱动器类型不同
服务器 1 有 NVMe,但其他服务器没有。
服务器 1 服务器 2 服务器 3
6 x NVMe(缓存) - -
- 6 x SSD(缓存) 6 x SSD(缓存)
18 x HDD(容量) 18 x HDD(容量) 18 x HDD(容量)
不支持此操作。 每台服务器中的驱动器类型(SSD\SATA\NVME)应当相同。
6、不支持:服务器之间每种类型的数量不同
服务器 3 有比其他服务器更多的驱动器。
服务器 1 服务器 2 服务器 3
2 x NVMe(缓存) 2 x NVMe(缓存) 4 x NVMe(缓存)
10 x HDD(容量) 10 x HDD(容量) 20 x HDD(容量)
不支持此操作。 每台服务器中每种类型的驱动器数目应相同。
7、不支持:仅使用 HDD 驱动器
所有服务器仅连接了 HDD 驱动器。
服务器 1 服务器 2 服务器 3
18 x HDD(容量) 18 x HDD(容量) 18 x HDD(容量)
不支持此操作。 需要添加至少两个附加到每台服务器的缓存驱动器(NvME 或 SSD)。
8、如果四台服务器做S2D,具有三向镜像复原能力,则可以有效地放置副本以使用所有可用容量,存储空间直通分配器就会查找并使用最佳放置,不会留下闲置容量

对网卡的要求:最少是选带RDMA功能的光纤10G网卡

Windows2022超融合存储空间直通,本教程前段教程是测试环境中部署,后段教程是实际环境部署:
模拟环境(测试环境):
准备一台物理机 8核16G内存配置
物理机安装Win2022系统
然后在物理机内安装Hyper-V功能
物理机内新建三台虚拟机,分别模拟域控服务器AD.PIIS和加入域的直通2台服务器S1.AD.PIIS和S2.AD.PIIS
域控服务器AD.PIIS: 4核、内存4G、系统盘40G、不需要数据盘
直通2台服务器S1.AD.PIIS和S2.AD.PIIS:4核、内存4G、系统盘40G、2个50G的数据盘
一:物理机安装Hyper-V功能 并建立3台模拟环境需要的虚拟机
命令行执行services.msc打开"服务器管理器"或开始菜单-服务器管理器
仪表盘-添加角色和功能-在服务器角色中勾选"Hyper-V"-然后一直下一步-重启服务器

命令行执行virtmgmt.msc打开"Hyper-V管理器"或开始菜单-Windows管理工具-Hyper-V管理器
将虚拟机和虚拟硬盘的路径修改到D盘


建立虚拟交换机:


分别建立三台虚拟机
建立AD.PIIS域控虚机







建立S1.AD.PIIS虚拟机
前面和建立AD.PIIS域控虚机类似,只是硬盘要加多2块:






建立S2.AD.PIIS虚拟机
前面和建立S1AD.PIIS虚机类似,也多加2块硬盘:

前面忘记给每个虚拟机分配光驱,这里给3个虚拟机配置光驱:

分别给3台虚拟机装Win2022系统,只对系统盘装系统,其他数据盘不要分区和使用
挂载ISO安装系统时,记得将DVD启动移动到最上


AD.PIIS域控虚拟机分配IP为192.168.231.200(请根据你实际情况分配IP)
S1.AD.PIIS虚拟机分配IP为192.168.231.201(请根据你实际情况分配IP)
S2.AD.PIIS虚拟机分配IP为192.168.231.202(请根据你实际情况分配IP)
二:配置AD.PIIS域控服务器(192.168.231.200)
重命名AD.PIIS域控虚拟机计算机名称为DC

并重启服务器生效
安装Active Directory域控制器先决条件:
要确保Remote Registry、Server、TCP/IP NetBIOS Helper、Computer Browser(有的系统没此服务就忽略)、Remote Procedure Call (RPC)、Workstation、Volume Shadow Copy服务是运行状态
否则域控制器安装失败
1.1、可以在cmd命令行中安装:
powershell -command Add-WindowsFeature  AD-Domain-Services,RSAT-AD-Tools,RSAT-ADDS,RSAT-AD-AdminCenter,RSAT-ADDS-Tools,RSAT-AD-PowerShell,GPMC
1.2、或者直接在powershell中执行安装:
Add-WindowsFeature  AD-Domain-Services,RSAT-AD-Tools,RSAT-ADDS,RSAT-AD-AdminCenter,RSAT-ADDS-Tools,RSAT-AD-PowerShell,GPMC
1.3、或者命令行执行services.msc打开"服务器管理器"或开始菜单-服务器管理器
仪表盘-添加角色和功能-在服务器角色中勾选"Active Directory域服务"-然后一直下一步


上面安装域服务也可以用bat脚本一键安装域服务 用www.piis.cn/jiaocheng/2141.html中的bat脚本先开启共享再安装域服务
装好"Active Directory域服务"后打开"服务器管理器"界面右上角会有个黄色的感叹号

点击黄色感叹号后 再点击"将此服务器提升为域控制器"
添加新林--根域名填写AD.PIIS

输入还原模式密码(并记住该密码),其它默认,点击下一步
其它都默认下一步,最后开始安装,如下图,完成安装后,将自动重启

重启后,使用域用户来登陆系统

开放相关端口或者直接关闭系统防火墙(不安全)
开放相关端口 可以参考www.piis.cn/jiaocheng/2141.html 或利用文章中的bat一键设置即可
三:将S1.AD.PIIS虚拟机加入域
登录S1.AD.PIIS虚拟机
先配置IP中将S1.AD.PIIS虚拟机的DNS修改为域控服务器的IP:192.168.231.200

开放相关端口或者直接关闭系统防火墙(不安全)
开放相关端口 可以参考www.piis.cn/jiaocheng/2141.html 或利用文章中的bat一键设置即可
在桌面"此电脑"右键-属性-重命名这台电脑(有2处,点最下面)


加域名的时候会提示输入S1.AD.PIIS账户密码

加域需重启后生效
四:将S2.AD.PIIS虚拟机加入域
登录S2.AD.PIIS虚拟机
先配置IP中将S2.AD.PIIS虚拟机的DNS修改为域控服务器的IP:192.168.231.200
开放相关端口或者直接关闭系统防火墙(不安全)
开放相关端口 可以参考www.piis.cn/jiaocheng/2141.html 或利用文章中的bat一键设置即可
在桌面"此电脑"右键-属性-重命名这台电脑(有2处,点最下面)
加域名的时候会提示输入S2.AD.PIIS账户密码
加域需重启后生效
五:在域控服务器将S1和S2添加到域管理的其他服务器
S1.AD.PIIS和S2.AD.PIIS重启完成后
登录AD.PIIS域控上添加要管理的其他服务器,将S1和S2加进来
命令行执行services.msc打开"服务器管理器"或开始菜单-服务器管理器-"添加要管理的其他服务器"


添加完成后,就能在AD.PIIS域控服务器的"服务器管理器--所有服务器"中看到S1和S2

六:在所有服务器中安装故障转移群集
实现资源的高可用性,域控和节点都需要安装【故障转移群集】功能
但只需在任意其中1台节点(S1或S2)上进行群集配置
AD.PIIS域控服务器安装群集的目的是方便管理
只用登录AD.PIIS域控服务器
"服务器管理器--所有服务器"--分别右键DC/S1/S2--添加角色和功能--故障转移群集

DC/S1/S2都安装群集

安装完成后,在域控或任意1台节点S1或S2上打开服务器管理器-工具-故障转移群集管理器

加入集群的节点服务器Remote Registry远程注册表服务必须运行中
将S1和S2这2台节点创建为群集(AD.PIIS域控服务器,无法加入群集)

在将节点加入群集时会提示验证验证配置

默认情况下验证配置做一遍,如果某些条件不满足,可以根据报告做相应调整

做完验证后会再次返回安装群集的界面,我们就跳过验证,直接安装

配置群集名称为cluster-sz01,集群的IP地址为192.168.231.1(和节点机同段)


节点服务器需要将Volume Shadow Copy卷影服务(VSS)设置为自动并启动




七:配置群集仲裁设置
只有2台节点组成群集还需要配置一个外部见证以保证在任意节点故障时,也能够选举出1台多数得票的节点
先在AD.PIIS域控服务器的C盘创建一个见证文件夹(如piis)并给Everyone读写权限(不要给修改或完全权限,会很不安全)

"故障转移群集管理器中"-选择群集-右键-更多操作-配置群集仲裁设置

选择仲裁见证

配置文件共享见证

右键文件夹-高级共享

选择所有用户都具有读写权限(不要给与完全权限,会很不安全),确定完成。




故障转移群集配置完成!
此时,我们通过远程桌面访问群集地址192.168.231.1时,群集系统会自动选举出1台主节点来提供服务,而另外1台作为备用节点。
当主节点突发故障时,备用节点会快速顶替主节点,继续提供服务,中断时间约30~60秒。
但这一步仅仅是完成了"计算资源"的高可用性,并非我们想要的最终结果。
接下来,配置<存储>资源的高可用。
八:存储空间直通(S2D,Storage Spaces Direct)
目的:实现"存储资源"的高可用性。简单说,就是将S1和S2节点服务器除系统盘外,其他的磁盘做成“RAID1”
1、在开启S2D之前,先来检查一下当前是否满足创建S2D的条件。
在AD.PIIS域控服务器或S1或S2节点服务器的"故障转移群集管理器"--验证群集--仅运行选择的测试-存储空间直通




2、在AD.PIIS域控服务器或S1或S2节点服务器的"服务器管理器--所有服务器"--右键S1或S2--Windows PowerShell

执行命令开启S2D功能:Enable-ClusterS2D

创建完成。

因为使用的都是SSD,所以系统没有设置缓存磁盘,不必理会这个警告。
如果是HDD+SSD/NVME的组合,S2D系统会把速度较快的SSD/NVME用于缓存。
后期也可以手动设置缓存。
S2D直通安装后,会自动创建一个名为ClusterPerformanceHistory的大约22GB的虚拟磁盘,开启群集的性能历史记录。


S2D直通默认直接启用性能历史记录,若要停止收集性能历史记录,请以管理员身份PowerShell运行Stop-ClusterPerformanceHistory
重新启用群集的性能历史记录在节点服务器PowerShell运行Start-ClusterPerformanceHistory
"性能历史记录"存储空间直通管理员可跨主机服务器、驱动器、卷、虚拟机等轻松访问关于计算、内存、网络和存储的历史度量值。
 性能历史记录会自动收集并存储在群集上,最长存储一年。
创建完成后,在"文件和存储服务"--"存储池"中就会出现S2D on Cluster-sz01的存储池,右键它新建虚拟磁盘。

设置虚拟磁盘名称为VD1。如果对存储复原有要求的话,可以参照微软文档,预留一定的容量。



新建卷,也就是给刚才建立的虚拟磁盘分区:






如果是测试环境中继续进行实验
我们需要开启hyper-v建立的虚拟机的虚拟化嵌套功能
因为默认情况喜爱hyper-v建立的虚拟机中是无法再安装hyper-v角色功能
开启虚拟机的嵌套功能参考教程 www.piis.cn/jiaocheng/2154.html
开启该虚拟机的嵌套功能后 就可以进行下一步的高可用性的测试 参考下面教程
九、我们现在用实体物理服务器组建群集和存储空间直通
S2D要求对硬盘直接操作,存储设备(加入S2D的服务器)不得使用raid模式,只能用直通模式(no-raid),
实际部署环境中 建议2块硬盘做raid1安装系统,其他硬盘䒑做阵列直通模式(no-raid)做S2D存储空间直通
有阵列卡的服务器需要删除阵列做直通模式(no-raid),请参考教程www.piis.cn/jiaocheng/2159.html
环境:2个节点服务器 系统盘120G+1T的空白盘
域控服务器还是用前面的虚拟机AD.PIIS(192.168.231.200)(有条件的可用物理机做域控)
S3.AD.PIIS物理机分配IP为192.168.231.125(请根据你实际情况分配IP)安装Win2022系统
S4.AD.PIIS物理机分配IP为192.168.231.128(请根据你实际情况分配IP)安装Win2022系统
S3和S4组建群集,群集名称为cluster-sz02,新的集群IP地址为192.168.231.2(和节点机同段)
并按照前面的方法开启S2D功能(存储空间直通)
新建虚拟磁盘VD1划分709G(因为是S3的1个1T硬盘和S4的1个1T硬盘做的S2D,总可用空间909G)




并将VD1虚拟磁盘创建卷(分区)为D盘


接下来再创建一个容量为100GB的群集虚拟磁盘VD2,过程和创建VD1一样,但不用选驱动器号




这个虚拟磁盘是用于群集共享卷,放置虚拟机的页面文件.这么做能够让虚拟机在故障转移时,速度更快.
打开服务器管理器-工具-故障转移群集管理器-存储-磁盘 就可以看到VD1\VD2划分的虚拟磁盘

右键VD2虚拟磁盘-添加到群集共享卷

将V2虚拟磁盘添加为群集共享卷后,S3和S4节点服务器C盘ClusterStorage文件夹下就出现了VD2
存储空间直通(S2D)配置完成!
注意:虚拟磁盘VD1是709GB的高可用D盘,它只出现在承载它的节点上,另一个节点是看不到的。这个盘用于存放虚拟机磁盘文件。
虚拟磁盘VD2是100GB的群集共享卷,群集的所有节点中C:\ClusterStorage路径下都能看到,它只用于存放虚拟机的页面文件。
如果VD2不能划分或划分出错,只用关闭"服务器管理器"然后重新打开即可
十:让系统环境和应用(hyper-V)都实现高可用
在域控和S3节点机、S4节点机上均添加Hyper-V角色


域控安装Hyper-V角色时为了方便管理节点机Hyper-V虚拟机
由于我这里域控是用虚拟机,本虚拟机CPU不能嵌套虚拟化,就不能安装Hyper-V角色
同时注意节点服务器的虚拟交换机名称要一样,从而避免因虚拟交换机名称不一致,而造成虚拟机无法转移的问题
分别登录S3和S4节点机  开始菜单-Windows管理工具-Hyper-V管理器
建立虚拟机交换机-名称为intel-外部  这里注意:2台几点设置的虚拟交换机名称要相同


在主节点服务器上将虚拟机的虚拟硬盘位置和虚拟机配置文件位置设置到D盘(备用节点服务器不用设置)

十一:创建高可用Hyper-V虚拟机
在域控服务器(也可节点服务器)打开"故障转移群集管理器",如果没有显示群集的话,手动连接到群集

因为我这里在域控没装Hyper-V角色,所以只能登录主节点服务器上操作"故障转移群集管理器"
新建虚拟机前 我们需要将安装虚拟机系统的ISO文件拷贝到主节点服务器的D盘上 如放在D:\ISO
"故障转移群集管理器"-右键"角色"-虚拟机-新建虚拟机

新建虚拟机时群集节点 选 主节点服务器:

将虚拟机的磁盘文件位置放在D:\路径下,"代数"根据需要选择,"网络"选择前面建立的虚拟交换机




注意:虚拟机创建完成后,先不启动!!!需要对刚才建立的虚拟主机做一些设置调整:

打开虚拟机设置 -修改CPU、增加光驱、增加硬盘、并将"智能分页文件位置"调整到C:\ClusterStorage\VD2



虚拟机的"智能分页文件"是Hyper-V调用本地磁盘作为内存分配使用作用
请注意:"智能分页文件位置"要调整到C:\ClusterStorage\VD2,每个虚拟机建立一个独立的文件存放"智能分页文件"
将"智能分页文件位置"放到群集共享卷这么做能够让虚拟机在故障转移时,速度更快。
另请注意:因为加入了集群,hyper-V的管理应该是在"故障转移群集管理器"-"角色"中管理(不是在"Hyper-V管理器"中管理)

给建立的高可用虚拟机装系统 并配置一个内网IP为192.168.231.100
挂载ISO后给虚拟机装系统这里省略
十二:测试虚拟机的高可用
我们对原主节点进行关机操作

刚才建立的高可用虚拟机192.168.231.100会断开35秒后自动转移到原备用节点

群集会自动并将原备用节点转为主节点


我们再将原主节点服务器(新备份节点)开机,在"故障转移群集管理器"中可以看到正在加入

同时新的节点服务器会同步数据到新的备份节点服务器上
至此Win2022的hyper-V群集故障转移高可用超融合完美完工!!!
十三:Windows2022超融合S2D存储空间直通后怎么设置共享磁盘(非群集共享卷)对外提供SMB共享
www.piis.cn/jiaocheng/2214.html
十四:域环境、群集环境、S2D存储直通环境中的IP安全策略,安全设置教程
我们利用IP安全策略中"许可"策略权限大于"阻止"策略,来加强域控和节点服务器的安全

分类:教程帮助 百度收录 必应收录