一、PVE的储存类型
PVE的储存非常多样化，基本可以满足所有的要求。不同的储存类型的差异可以用以下的表格进行总结。
二、ZFS中的软Raid
Raid类型：
RAID0：也叫作条带，此类卷的容量是所有磁盘容量的总和。但是RAID0没有冗余，单块盘故障会导致整个卷无法使用。但性能是最好的。
RAID1：通常被称作镜像。数据以相同的方式写入所有磁盘。此模式至少需要2个相同大小的磁盘。生成的容量是单个磁盘的容量。
RAID10：RAID0 和 RAID1 的组合。至少需要4个磁盘
RAIDZ-1：RAID-5 的变体，单奇偶校验。至少需要3个磁盘。
RAIDZ-2：RAID-5 的变体，双奇偶校验。至少需要4个磁盘。
RAIDZ-3：RAID-5 的变体，三重奇偶校验。至少需要5个磁盘。
需要注意的是，ZFS在很大程度上依赖于内存，因此至少需要8GB才能启动，为了防止数据损坏，建议ECCRAM。如果内存有限，也可以使用专用的SSD固态硬盘，同样，建议使用稳定性更强的企业级固态盘。
一般情况下，ZFS会使用主机的50%的内存作为缓存，而缓存的性能和大小会直接影响磁盘的IO性能。一般来说，建议每1TB的空间使用1G内存，同时预留2G的基本内存。例如有8T空间，应分配8*1+2=10G内存。
对于大内存的服务器来说，为了避免出现占用大量内存作为缓存，需要对缓存的使用进行限制。
|
1 2 3 4 5 |
# 临时生效 echo "$[10 * 1024*1024*1024]" > /sys/module/zfs/parameters/zfs_arc_max # 永久生效 vi /etc/modprobe.d/zfs.conf options zfs zfs_arc_max=8589934592 |
三、硬盘直通
|
1 2 3 4 5 6 7 8 |
# 获取硬盘列表 ls /dev/disk/by-id # 或 lsblk # 找到对应的硬盘ID，执行以下指令，其中100代表映射的虚拟机编号 qm set 100 -sata1 /dev/disk/by-id/ata-WDC_XXXX_XXXX_XXXX # 返回以下信息代表映射成功“update VM 100: -sata1 /dev/disk/by-id/ata-WDC_XXXX_XXXX_XXXX” # 需要注意的是，快照无法还原直通硬盘中的数据，而且在使用备份时，会对整个硬盘进行备份，包括无数据的部分。因此在使用硬盘直通时，须确认好使用环境或者调整好相关设置。作为直通硬盘来讲，最大的优点就是硬盘的性能最大化以及硬盘在不同系统之间的移动。 |
四、关于ZFS的性能
- 1x 4TB, single drive, 3.7 TB, w=108MB/s , rw=50MB/s , r=204MB/s
- 2x 4TB, mirror (raid1), 3.7 TB, w=106MB/s , rw=50MB/s , r=488MB/s
- 2x 4TB, stripe (raid0), 7.5 TB, w=237MB/s , rw=73MB/s , r=434MB/s
- 3x 4TB, mirror (raid1), 3.7 TB, w=106MB/s , rw=49MB/s , r=589MB/s
- 3x 4TB, stripe (raid0), 11.3 TB, w=392MB/s , rw=86MB/s , r=474MB/s
- 3x 4TB, raidz1 (raid5), 7.5 TB, w=225MB/s , rw=56MB/s , r=619MB/s
- 4x 4TB, 2 striped mirrors, 7.5 TB, w=226MB/s , rw=53MB/s , r=644MB/s
- 4x 4TB, raidz2 (raid6), 7.5 TB, w=204MB/s , rw=54MB/s , r=183MB/s
- 5x 4TB, raidz1 (raid5), 15.0 TB, w=469MB/s , rw=79MB/s , r=598MB/s
- 5x 4TB, raidz3 (raid7), 7.5 TB, w=116MB/s , rw=45MB/s , r=493MB/s
- 6x 4TB, 3 striped mirrors, 11.3 TB, w=389MB/s , rw=60MB/s , r=655MB/s
- 6x 4TB, raidz2 (raid6), 15.0 TB, w=429MB/s , rw=71MB/s , r=488MB/s
- 10x 4TB, 2 striped 5x raidz, 30.1 TB, w=675MB/s , rw=109MB/s , r=1012MB/s
- 11x 4TB, raidz3 (raid7), 30.2 TB, w=552MB/s , rw=103MB/s , r=963MB/s
- 12x 4TB, 6 striped mirrors, 22.6 TB, w=643MB/s , rw=83MB/s , r=962MB/s
- 12x 4TB, 2 striped 6x raidz2, 30.1 TB, w=638MB/s , rw=105MB/s , r=990MB/s
- 12x 4TB, raidz (raid5), 41.3 TB, w=689MB/s , rw=118MB/s , r=993MB/s
- 12x 4TB, raidz2 (raid6), 37.4 TB, w=317MB/s , rw=98MB/s , r=1065MB/s
- 12x 4TB, raidz3 (raid7), 33.6 TB, w=452MB/s , rw=105MB/s , r=840MB/s
- 22x 4TB, 2 striped 11x raidz3, 60.4 TB, w=567MB/s , rw=162MB/s , r=1139MB/s
- 23x 4TB, raidz3 (raid7), 74.9 TB, w=440MB/s , rw=157MB/s , r=1146MB/s
- 24x 4TB, 12 striped mirrors, 45.2 TB, w=696MB/s , rw=144MB/s , r=898MB/s
- 24x 4TB, raidz (raid5), 86.4 TB, w=567MB/s , rw=198MB/s , r=1304MB/s
- 24x 4TB, raidz2 (raid6), 82.0 TB, w=434MB/s , rw=189MB/s , r=1063MB/s
- 24x 4TB, raidz3 (raid7), 78.1 TB, w=405MB/s , rw=180MB/s , r=1117MB/s
- 24x 4TB, striped raid0, 90.4 TB, w=692MB/s , rw=260MB/s , r=1377MB/s