硬件规划与容量设计

1. 网络拓扑

1.1 物理网络架构

                        ┌───────────────┐
                        │  Core Switch  │
                        │  (40/100GbE)  │
                        └───────┬───────┘
                                │
                    ┌───────────┼───────────┐
                    │           │           │
              ┌─────┴─────┐ ┌──┴───┐ ┌────┴────┐
              │ Spine SW-1│ │Spine │ │Spine SW-3│  ... (冗余)
              │ (25/100G) │ │ SW-2 │ │(25/100G)│
              └─────┬─────┘ └──┬───┘ └────┬────┘
                    │          │          │
         ┌──────────┼──────────┼──────────┼──────────┐
         │          │          │          │          │
    ┌────┴────┐┌────┴────┐┌───┴────┐┌────┴────┐┌───┴────┐
    │ TOR-R1  ││ TOR-R2  ││ TOR-R3 ││ TOR-R4  ││ TOR-R5 │
    │(25GbE) ││(25GbE)  ││(25GbE) ││(25GbE)  ││(25GbE) │
    └────┬────┘└────┬────┘└────┬───┘└────┬────┘└────┬───┘
         │          │          │         │          │
    机架1服务器   机架2服务器  机架3     机架4      机架5

1.2 网络平面划分

网络平面	用途	VLAN	带宽	说明
Management	管理通信、部署	100	25G	节点管理、Ansible、监控
Storage	Ceph 数据/集群	200/201	25G	Ceph public + cluster 网络
Tenant (VXLAN)	租户业务流量	Geneve overlay	25G	租户虚拟机网络
External	外网访问/浮动IP	300	25G	Floating IP、API 对外
Migration	VM 热迁移	400	25G	Nova 实时迁移专用
BMC/IPMI	带外管理	500	1G	iLO/iDRAC 管理

1.3 网卡配置方案

计算节点 (4 x 25GbE):

# bond0: 管理 + 存储 (2 x 25G, LACP active-active)
nmcli connection add type bond con-name bond0 ifname bond0 \
  mode 802.3ad miimon 100 xmit_hash_policy layer3+4
nmcli connection add type bond-slave ifname ens1f0 master bond0
nmcli connection add type bond-slave ifname ens1f1 master bond0

# bond1: 业务 + 迁移 (2 x 25G, LACP active-active)
nmcli connection add type bond con-name bond1 ifname bond1 \
  mode 802.3ad miimon 100 xmit_hash_policy layer3+4
nmcli connection add type bond-slave ifname ens2f0 master bond1
nmcli connection add type bond-slave ifname ens2f1 master bond1

控制节点 (4 x 25GbE + 2 x 10GbE):

# 同上 bond 配置，额外增加 external 网络接口
# bond0: 管理 + 存储 + 外部 API
# bond1: 租户流量 + 迁移

2. 存储容量规划

2.1 Ceph 集群容量计算

假设参数:

• OSD 节点: 30 台
• 每节点 OSD 盘: 12 x 8TB HDD = 96TB/节点
• 每节点 NVMe WAL/DB: 2 x 1.92TB
• 副本数: 3
• 安全水位: 75%

容量计算:

裸容量 = 30 × 12 × 8TB = 2,880TB (2.88PB)
可用容量 = 2,880TB / 3 (副本) = 960TB
安全可用 = 960TB × 75% = 720TB

IOPS 估算 (HDD + NVMe 缓存):

每 HDD OSD: ~150 IOPS (随机读)
每 NVMe DB: ~100,000 IOPS (元数据/WAL)
总读 IOPS (缓存命中): ~3,000,000+
总读 IOPS (缓存未命中): ~30 × 12 × 150 = 54,000
总写 IOPS: ~30 × 2 × 50,000 = 3,000,000 (WAL write)

2.2 存储池规划

存储池	用途	副本数	类型	预计容量
volumes	Cinder 块存储	3	HDD+NVMe	300TB
images	Glance 镜像	3	HDD+NVMe	50TB
vms	Nova 实例盘	3	HDD+NVMe	300TB
backups	备份存储	2 (EC)	HDD	70TB

2.3 NVMe 加速方案

每个 OSD 节点:
  ┌────────────────────────────────────────────┐
  │ NVMe-1 (1.92TB)     NVMe-2 (1.92TB)       │
  │ ┌─────┐┌─────┐      ┌─────┐┌─────┐       │
  │ │DB-1 ││DB-2 │ ...  │DB-7 ││DB-8 │       │
  │ │WAL-1││WAL-2│      │WAL-7││WAL-8│       │
  │ └─────┘└─────┘      └─────┘└─────┘       │
  │   OSD-1..6 共享       OSD-7..12 共享       │
  └────────────────────────────────────────────┘
  
  每块 NVMe 分 6 个分区:
  - 6 x DB 分区 (~280GB each)
  - 6 x WAL 分区 (~20GB each)

3. 计算容量规划

3.1 虚拟机规格设计

规格名	vCPU	内存	系统盘	数据盘	适用场景
m1.small	2	4GB	40GB	-	开发测试
m1.medium	4	8GB	60GB	-	小型应用
m1.large	8	16GB	80GB	100GB	通用业务
m1.xlarge	16	32GB	100GB	200GB	中型数据库
m1.2xlarge	32	64GB	100GB	500GB	大型业务
m1.4xlarge	64	128GB	200GB	1TB	高性能计算
c1.medium	8	8GB	60GB	-	计算密集型
r1.medium	4	32GB	60GB	-	内存密集型

3.2 集群总容量

按 1000 台计算节点，每台 64C/512GB 计算:

物理 CPU 核心: 1000 × 64 = 64,000 cores
物理内存: 1000 × 512GB = 512TB

vCPU (4:1 超分): 64,000 × 4 = 256,000 vCPUs
可用内存 (1:1): 512TB (不超分)

按 m1.large (8C/16G) 计算:
  vCPU 限制: 256,000 / 8 = 32,000 VMs
  内存限制: 512TB / 16GB = 32,768 VMs
  → 最大可运行 ~32,000 台 m1.large 虚拟机

按平均混合规格 (4C/8G):
  → 最大可运行 ~64,000 台虚拟机

4. 服务器选型建议

4.1 计算节点

配置项	推荐规格
CPU	2 × Intel Xeon Gold 6448Y (32C/2.1GHz) 或 AMD EPYC 9354 (32C)
内存	16 × 64GB DDR5-4800 = 1TB (预留扩展)
系统盘	2 × 480GB SATA SSD (RAID1)
网卡	2 × Mellanox ConnectX-7 25GbE (双口)
电源	双冗余热插拔 1600W
机箱	2U 机架式

4.2 存储节点

配置项	推荐规格
CPU	2 × Intel Xeon Silver 4410Y (12C/2.0GHz)
内存	8 × 16GB DDR5 = 128GB
系统盘	2 × 480GB SATA SSD (RAID1)
OSD 盘	12 × 8TB SATA HDD (7200RPM)
NVMe	2 × 1.92TB NVMe U.2 (DB/WAL)
网卡	2 × Mellanox ConnectX-7 25GbE
机箱	4U 36盘位

4.3 控制节点

配置项	推荐规格
CPU	2 × Intel Xeon Gold 6430 (32C/2.1GHz)
内存	8 × 32GB DDR5 = 256GB
系统盘	2 × 480GB SATA SSD (RAID1)
数据盘	2 × 1.92TB NVMe (MariaDB/RabbitMQ)
网卡	2 × Mellanox ConnectX-7 25GbE
机箱	2U 机架式

5. 机柜与电力规划

5.1 机柜布局

每标准42U机柜容纳:
  - 18台 2U 计算节点 (36U)
  - 2台 TOR 交换机 (2U)
  - 1台 PDU (0U, 侧装)
  - 预留 4U 理线空间

千节点计算节点需要:
  - 1000 / 18 ≈ 56 个标准机柜
  - 按每排 8 柜，共 7 排

存储节点:
  - 30 台 / 6台每柜(4U) = 5 个机柜

控制/管理节点:
  - (5+3+4+3) / 8 = 2 个机柜

总计: ~63 个标准机柜

5.2 电力估算

计算节点: 1000 × 500W = 500kW
存储节点: 30 × 800W = 24kW
控制节点: 5 × 600W = 3kW
交换机: 63 × 2 × 300W = 37.8kW
其他: ~50kW
─────────────────────────────
总计: ~615kW (不含冗余)
建议: 双路供电 1.2MW