★ FEATURED ARTICLE 干网络运维这行遇到DELL Z9100交换机接口拆分1分4的配置需求其实不算少。尤其是机房改造、服务器网卡速率不统一的时候明明交换机上全是40G/100G的QSFP28口底下接入的设备却还停留在10G速率不拆分就只能浪费端口或者额外加一堆转换设备。Z9100这种高密度40G/100G盒式交换机单台32个100G端口在ToR和Leaf场景里非常常见但真正到手之后第一步往往不是直接配IP而是考虑怎么把高带宽端口“打散”成更多可用的低速率端口。这篇内容我就把接口拆分1分4这件事拆开聊从硬件原理、命令行配置到验证和排障一次说透。1. 为什么要把一个40G接口拆成4个10G接口1.1 现实场景端口速率不匹配的尴尬你可能遇到过这样的情况某机房改造需要新接入一批只有10G SFP口的服务器或者存储设备但你的接入交换机是Z9100全是QSFP / QSFP28接口没有原生10G SFP口。如果直接插一个40G光模块对面服务器接不了因为服务器网卡是10G的如果插一个10G SFP模块又插不进QSFP28的笼子里。这种情况下接口拆分breakout就是最直接的解决方案。把一个40G的物理端口拆成4个独立的10G逻辑端口每个逻辑端口对应一个10G SFP接口对面服务器的SFP光模块就能直连了。本质上就是通过硬件和软件配合把高带宽端口“分配”成多个低带宽端口提高端口利用率。还有一个常见场景是25G接入。Z9100的QSFP28端口本来支持100G如果拆成4个25G一台交换机就能提供128个25G口这在中小规模数据中心里够用了。所以1分4不仅仅是40G拆10G也经常是100G拆25G具体要看你的线缆和模块方案。1.2 接口拆分的底层逻辑想搞明白配置命令为什么那么写得先理解QSFP端口内部的结构。QSFP28模块内部是4个独立的收发通道lane每个通道可以独立工作。100G就是4个25G lane40G本质上是4个10G lane的组合在某些模块里也可能是4个10G的组合。所以1分4拆分就是把物理端口内部的4条lane分别映射到4个独立的前面板逻辑接口上。外部再配一根“分支线缆”breakout cable或者特定的光模块/线缆组合将物理端口引出的信号分成4路分别接到4个低速端口上。这个原理也解释了为什么拆分不是“软件模拟”出来的而是必须硬件支持。Z9100这类支持breakout的芯片平台内部端口本身的SerDes并串转换器就是按4条lane设计的端口模式可以通过寄存器配置成Nx10G或者Nx25G。这也是为什么拆分配置通常需要重启端口甚至改变端口模式。1.3 拆分前必须确认的三件事在敲命令之前我建议你先确认三件事不然配置完不生效或者端口起不来排查起来很痛苦。第一硬件端口本身要支持拆分。Z9100的QSFP / QSFP28口是支持breakout的但并非所有平台都支持有些固定端口形态的交换机比如纯SFP口设备就没有这个功能因为物理上已经是一个口一个通道了。第二线缆和模块要配套。40G拆4x10G需要的是40G QSFP转4x10G SFP的分支DAC线缆或者使用MPO/MTP分支光缆配合对应的光模块。100G拆4x25G同理需要100G QSFP28转4x25G SFP28的分支线缆。市面上这类线缆很多品牌在做原厂和非原厂都有后面我会专门讲怎么避坑。第三端口当前必须处于空闲状态。拆分操作会改变端口模式如果端口已经被配置成路由口或者Switch Port并且承载业务配置拆分时要么直接被拒绝要么需要强制重新加载可能导致业务中断。所以生产环境操作前一定要确认端口没在用或者提前做好割接窗口。2. 拆分配置前置准备清单2.1 硬件点检端口形态与线缆匹配配置之前先把物理层搞清楚。Z9100的固定端口是32个QSFP28口前面板端口编号一般是ethernet 1/1/1到ethernet 1/1/32。这些接口既支持40G也支持100G速率取决于插入的模块和线缆。你得确认自己的线缆是哪种。分支DAC线缆是最常见的方案一根线缆末端分出4个SFP接口适合短距离一般为1米、3米、5米机柜内连服务器。如果距离超过DAC的支持范围就得用分支光缆比如MPO-8转4个LC/duplex SFP光模块或者直接用QSFP光模块配合MPO转4xLC的扇出跳线再接4根10G SFP光模块光纤。这里需要提醒一个点40G的QSFP模块和100G的QSFP28模块虽然接口形态一样但线缆的电气指标不同100G拆4x25G必须用支持25G的SFP28线缆或者光模块不能拿普通的10G SFP模块硬上。虽然很多SFP模块物理上能插进去但端口协商速率和光模块能力不匹配端口会一直起不来。2.2 登录与OS10命令行准备Z9100的新系列大多运行OS10系统命令行风格和旧版FTOSDNOS有区别但基本逻辑接近。配置之前建议先确认当前系统的版本和license情况。部分老型号或早期版本可能对breakout功能的支持方式有差异最好先升级到较新的OS10版本保证命令和功能完整。登录方式和管理口地址这些我就不赘述了正常用SSH登录或者串口连接都行关键是进入配置模式之前的准备OS10# configure terminal OS10(config)#在这里我多说一句敲命令之前养成习惯先执行show interface status和show system确认当前端口有没有在使用、有没有异常状态。虽然看起来有点多余但生产环境里这条习惯能避免很多误操作。2.3 查看端口当前状态与模式支持OS10下可以用show interface ethernet 1/1/1查看端口状态用show qsfp查看模块信息。大型交换机配置前多看一眼不会错。另外有个很实用的命令可以直接看到端口支持哪些拆分模式OS10# show interface ethernet 1/1/1 breakouts如果端口硬件仿真支持4x10G、4x25G等模式输出里会列出来。有的早期版本或者硬件版本不支持拆分输出就会提示不支持这种情况就不用继续折腾了。3. 核心配置步骤OS10下的1分4实操3.1 进入配置模式与选择端口一切确认无误后开始配置。在OS10里端口拆分配置是在接口视图下完成的。OS10# configure terminal OS10(config)# interface ethernet 1/1/1 OS10(conf-if-eth1/1/1)#需要注意的是进入接口视图后如果端口本来配置了IP、VLAN或者其他业务配置建议拆分配置之前先清掉。否则有些版本会提示端口忙拆分命令执行不成功。当然也可以直接在配置模式下执行拆分命令系统可能会自动清除原有配置但不同版本行为不太一样最好手工清一遍避免恢复的时候配置残留。3.2 执行breakout命令与参数说明接口视图下拆分命令的核心是breakout mode。Z9100上针对QSFP28端口常见的模式有以下几种原端口速率拆分模式拆分后子端口速率子端口命名规则40G4x10G10Gethernet 1/1/1:1 ~ :4100G4x25G25Gethernet 1/1/1:1 ~ :4100G4x10G10Gethernet 1/1/1:1 ~ :4100G1x100G100G不拆分无实际配置命令如下以40G拆4x10G为例OS10(conf-if-eth1/1/1)# breakout mode 4x10G回车之后系统会提示这个操作将改变端口配置并且可能需要重置端口。如果端口没有业务在跑直接确认。配置完成后可以退出接口视图查看拆分后的子端口OS10# show interface status正常情况下你就能看到ethernet 1/1/1:1、1/1/1:2、1/1/1:3、1/1/1:4四个端口。如果没看到可能是拆分命令没生效或者需要执行reload后生效具体看系统提示。注意breakout mode这个命令在不同的OS10版本里写法可能略有差异在早期的某些版本中可能需要用breakout type 4x10G之类的写法。如果命令敲不下去先敲breakout ?看提示再按提示补全。3.3 拆分配置之后子端口怎么用拆分完成后子端口和普通物理端口的用法几乎完全一样。可以单独配置为Access口、Trunk口也可以配置IP作为三层口还可以加入port-channel做链路聚合。比如我们机房最常见的做法把拆出来的4个10G口分别接到4台服务器的10G网卡上然后每个口单独配置VLANOS10(config)# interface ethernet 1/1/1:1 OS10(conf-if-eth1/1/1:1)# switchport access vlan 100 OS10(conf-if-eth1/1/1:1)# no shutdown或者直接配置成三层路由口OS10(config)# interface ethernet 1/1/1:2 OS10(conf-if-eth1/1/1:2)# no switchport OS10(conf-if-eth1/1/1:2)# ip address 192.168.10.1/24 OS10(conf-if-eth1/1/1:2)# no shutdown也可以把多个子端口绑定成一个port-channel用于连接对端需要链路聚合的设备OS10(config)# interface port-channel 10 OS10(config)# interface ethernet 1/1/1:1 OS10(conf-if-eth1/1/1:1)# channel-group 10 mode active OS10(config)# interface ethernet 1/1/1:2 OS10(conf-if-eth1/1/1:2)# channel-group 10 mode active这样灵活度就很好一个物理端口拆出4个口既能当普通二层口用也能当三层口用还能聚合基本覆盖了日常能遇到的场景。3.4 拆分后的恢复操作如果后续服务器升级成40G/100G网卡不需要拆分了可以把端口还原成一个高带宽口。做法是回到物理端口视图执行恢复模式OS10(config)# interface ethernet 1/1/1 OS10(conf-if-eth1/1/1)# breakout mode 1x40G或者对于100G端口OS10(conf-if-eth1/1/1)# breakout mode 1x100G恢复之后原先的ethernet 1/1/1:1~:4这些子端口就消失了回到一个独立的物理端口。需要提醒的是恢复操作同样会导致端口模式重置原子端口上的配置会丢失操作前要对配置做好备份。4. 验证环节怎么确认拆分真的生效了4.1 show命令逐条解读配置敲完不等于结束验证是关键。我最常用的验证命令如下OS10# show interface status主要关注子端口是否存在、状态是否up。输出中会区分物理端口和拆分子端口子端口名称里有冒号一眼能看出来。OS10# show interface ethernet 1/1/1:1查看单个子端口的详细信息包括实际协商速率、光模块状态、收发光功率等。如果对端是10G设备这里应该显示速率10G状态up。如果觉得光路有问题可以看模块的DDM信息OS10# show qsfp ethernet 1/1/1这条命令能看到是哪种模块如果是分支DAC线缆系统会识别为带有4个通道的线缆每个通道对应一个子端口。如果识别异常多半是线缆兼容性问题。4.2 物理层检查的额外建议拆分完成后物理层的检查往往比软件层更复杂。我之前遇到过一种情况配置全部正确子端口也显示up但ping不通后来发现是分支线缆插反了方向。分支线缆一般有“主端”和“分支端”主端插交换机分支端插服务器。有的线缆标识不清晰反插之后信号不对端口虽然能协商上来但丢包严重。另外光线缆分支的情况下还需要检查单根光纤的收发光功率。40G LR4模块拆分成4路10G之后每一路的波长和功率都是独立的如果扇出跳线接错比如把4路中某一路接到同一个光模块就会出现光功率正常但通信异常的情况。4.3 从对端设备反向验证拆分是否成功不能只盯着一台设备看。接上对端设备之后建议在对端也执行show interface看看协商速率是不是10G或25G、双工状态是否正常。如果对端显示速率和工作模式正常那基本可以断定拆分链路没问题。如果对端设备显示“negotiation failed”或者“no signal”则要回到物理线缆和子端口状态两个角度排查后面第五节会展开讲。5. 常见问题与排查技巧实录5.1 配置拆分不生效端口还是原始状态这是新手最容易碰到的问题。配置命令敲了结果显示成功但查看端口状态还是原来的物理端口没有拆分子端口。原因基本有下面几种第一配置没有保存生效。部分OS10版本中breakout配置需要写入启动配置并激活后才生效只敲命令不write memory重启后可能恢复原状。要确认运行配置里是否真的有breakout配置OS10# show running-configuration interface ethernet 1/1/1第二端口上有残留配置。接口视图里可能还挂着IP、VLAN成员等导致系统拒绝改变端口模式。先清掉接口下的所有配置再执行拆分。第三软件版本限制。部分早期OS10版本对某些硬件版本的拆分支持不完整配置写进去但不生效。这种情况下升级系统版本基本能解决。5.2 子端口状态up但光模块识别异常拆分之后端口状态已经up但查看光模块信息时发现识别不到模块型号或者通道状态异常。这种情况八成是线缆兼容性问题。Z9100对原厂线缆和部分第三方线缆的兼容性还不错但市面上很多低价分支线缆在固件识别上会出问题。常见的坑是某个通道的DDM信息读不到或者四个通道中某一个通道光功率异常。这种问题排查起来比较费劲因为端口状态可能还是up的但业务已经受到影响。我的建议是在预算允许的情况下优先选择原厂线缆或者明确兼容OS10的第三方品牌线缆。低价杂牌线缆偶尔能用但出问题后很难判定是线缆问题还是设备问题运维成本反而更高。之前帮人处理过一个故障端口状态正常、对端链路正常但业务流量周期性丢包最后查出来是分支线缆内部某根线的屏蔽层不良换线之后恢复。5.3 拆分后速率不对协商成低速拆分后的子端口对端是10G设备应该协商成10G对端是25G设备应该协商成25G。但有时候端口会协商成1G或者干脆协商不上。这个和光模块以及线缆的“能力声明”有关系。很多SFP模块物理上支持10G但同时也支持1G。如果对端设备端口配置成了自动协商而线缆质量一般可能会协商到1G。而另一些模块不支持1G就只能10G。解决办法是检查对端端口配置一般服务器网卡或者交换机接入端口建议手动固定速率不要全依赖自动协商。还有一种情况是对端设备太老Link Training链路训练能力不足导致25G协商不上。这种就只能把交换机端口强制配置成10G模式在部分OS10版本中可以通过rate命令固定端口速率或者更换支持25G的对端设备。5.4 子端口配置聚合后流量不均拆分出来的4个10G口绑成port-channel连接服务器或者下行交换机是一种很常见的用法。但有人配置后发现流量只走其中一条链路其他三条几乎没流量。这种情况多数不是配置问题而是哈希hash算法导致的。port-channel默认按源目MAC或者源目IP进行哈希如果业务是单个大流量比如单条TCP连接哈希结果很可能全部落到同一条链路上。这不是Z9100特有的问题是所有交换机做链路聚合都会遇到的情况。解决办法是调整负载均衡方式比如从按MAC改为按IP端口或者在服务器侧开多条会话。OS10下可以调整负载均衡算法OS10(config)# load-balance ingress-port ip dst ip src ip一般来说调整哈希因子之后多链路流量分布会有明显改善。不过要注意不同型号支持的关键字不一样可以敲load-balance ?查看当前版本支持哪些关键字。5.5 分支线缆的对端连接细节分支线缆有四根线分别对应4个子端口。但物理上哪根线对应哪个子端口不同厂家的线序可能不同。有的线缆上有标签标识有的没有。如果没有标签最简单的办法是把对端四根线一根一根插上每插一根在交换机上执行show interface ethernet 1/1/1:1 status记住哪个子端口亮了再依次确认其他三个。这个细节虽然不起眼但在大规模部署时非常有用。我之前遇到过切换机柜、重新插拔线缆后把线序接错了结果4个子端口的流量全部对不上交换机里的规划排障排了半天才发现是物理线序问题。为了避免这种低级的坑建议在项目初期就把线缆标签和子端口对应关系记录好做成表后续运维会省很多事。5.6 拆分后单端口误码率过高端口状态正常、速率正常但长时间运行后出现CRC错误、误码率升高。这个问题在高速率拆分场景下比较常见尤其是100G拆4x25G时对线缆质量和光模块质量要求更高。25G单通道的信号完整性要求比10G严格得多如果线缆过长超过分线缆标准支持长度或者线缆质量差误码率就会高。排查思路是先查看端口的CRC统计OS10# show interface ethernet 1/1/1:1 OS10# show hardware counters interface ethernet 1/1/1:1如果CRC错误持续增加基本上是物理层问题建议直接换线测试。这里有个经验能换DAC线缆就换DAC线缆少用模块跳线的组合因为10G/25G的模块和跳线多了几个物理连接点每个连接点都是潜在的故障点。DAC线缆是整体无源线缆链路少出问题的概率相对低一些。6. 关于拆分方案的选型与规划经验接口拆分看着只是一个命令但真正到了项目规划层面还牵扯到端口数量、业务类型、上下行带宽匹配这些事。比如Z9100作为接入/汇聚交换机32个100G口全部拆成4x25G可以得到128个25G口这种场景适合25G服务器接入。如果拆成4x10G可以得到128个10G口适合存量10G服务器逐步上收的场景。规划的时候要明白拆分只改变交换机侧端口形态不改变端口总带宽。1个100G口拆成4个25G口总带宽还是100G并不会变成400G。所以如果你对下行设备是10G口但上行汇聚带宽是100G用4x10G拆分是合理的但如果下行设备是25G口上行也是100G那带宽匹配就得仔细算清楚否则拆出来的4x25G合计100G可能成为瓶颈。我还想提一个点端口拆分后的运维管理和监控。拆出来的子端口有自己独立的统计、告警和日志但物理端口的告警状态比如光模块温度、电压还是统一归属到物理端口。因此监控系统里建议同时配置物理端口和逻辑子端口的性能指标采集不能只盯着物理端口看。否则子端口出现CRC错误或者收发光功率劣化光看物理端口状态是发现不了的。7. 个人实操体会拆分配置这件事本身不算复杂真正麻烦的是配置之前的需求梳理和硬件匹配。我见过太多人因为图省事不确认线缆类型就敲命令结果端口起不来最后查了半天是线缆不支持拆分。其实只要在规划阶段把端口速率、线缆类型、对端设备能力这三件事对齐后面配置就是一分钟的事。还有一点是关于配置保存的。拆分完成后务必执行一次write memory把配置持久化。之前遇到过一个情况设备配置一切都正常但断电重启后拆分状态全部丢失回到原始100G模式后来发现是当时忘记保存配置。这种低级错误一次两次可以理解但养成好习惯之后再也不会踩。最后想说的是Z9100的拆分能力在数据中心场景里真的很实用尤其是那种设备换代周期不对称的环境。新采购的高密度100G交换机要兼容底下一堆25G/10G的存量终端接口拆分几乎是最经济直接的方案。只要硬件匹配到位、配置步骤清晰、验证逻辑严密这活儿完全可以在一个变更窗口内安全搞定。
阅读完成 · 觉得有帮助？
