★ FEATURED ARTICLE 这几年做ICT基础设施运维的人应该都有一种感觉设备越来越多、网络分区越来越细、流程要求越来越严但传统的运维手段在隔离网络里却越来越使不上劲。去年我深度参与了一个内网隔离环境的标准化管理项目——几十台服务器、安全设备、存储设备构成的独立网络物理上与办公网完全隔离数据交互全部走专用通道。一开始团队觉得只要网络通了就完事真正动手才发现补丁装不上、软件源连不上、配置全靠手工敲、账号权限满天飞一台设备一个样出了问题根本说不清它本来应该是什么样。这篇文章不聊宏观战略就聊在这些真实约束下我们怎么把隔离网络里的ICT基础设施从一盘散沙管成了规格统一、账实相符、可审计、可复现的状态。适合正在做内网隔离、园区网络改造、专网环境运维的朋友参考也适合刚从互联网运维转过来的同学快速建立隔离环境运维的心智模型。下面全是实际项目里摸出来的经验有些是用加班和事故换来的希望你能少走几步弯路。1. 隔离网里的运维难点从来不是不通而是不好管1.1 先搞清楚你面对的是物理隔离还是逻辑隔离很多人一听到内网隔离就想到断网其实隔离分两种做法完全不同。物理隔离是两套完全独立的网络设备和线路之间没有物理连接数据交换只能靠人工拷盘或专用单向设备。逻辑隔离则是在同一套物理网络上用VLAN、防火墙策略划出相互隔离的区域。我们这次做的是物理隔离为主、内部再做逻辑分区的混合架构。物理隔离的麻烦在于绝对干净但也意味着一切外部依赖都断了没有公共软件源、没有在线漏洞库、没有厂商远程支持通道。逻辑隔离虽然可以在防火墙规则上做文章但策略放行多了边界感会越来越模糊最后变成隔离了个寂寞。1.2 隔离环境运维的三大典型痛点第一是补丁和软件更新问题。隔离网里的设备没法和公共更新服务器通信系统漏洞只能靠定期手工导入补丁包。时间一长补丁落后、版本混乱是常态设备在裸奔。第二是配置管理缺乏规范。因为网络不通很多运维人员习惯直接登录设备敲命令改配置今天为调试临时开个端口明天为排查问题改个参数改完也不记录更谈不上统一基线。半年下来同型号设备的配置差异大得惊人。第三是运维通道不统一。有人用跳板机进有人直连管理口还有人通过临时搭建的远程通道进内网维护。入口五花八门操作审计基本靠自觉出了问题谁也说不清当时是谁、在哪个设备上执行了什么操作。1.3 为什么标准化必须走在工具化前面我们一开始的想法是直接上自动化工具买一套商业运维平台配上批量下发和监控告警就完事。后来发现这是本末倒置。工具是固化规则的手段但规则本身如果没想清楚工具只会把混乱自动化和放大。标准化要解决的是四个问题网络怎么分、配置怎么定、资产怎么记、变更怎么走。这四件事定了再谈工具选型、脚本编写、平台搭建才有意义。所以整个项目我们分成了两条线并行一条线做网络架构和配置基线设计一条线做资产台账和流程梳理最后汇合到工具平台上落地。2. 网络分区规划把分做在前面后面才会少吵架2.1 一张拓扑图统一全局语言网络分区这件事最怕的就是各说各话。网络工程师说这个VLAN是给服务器的服务器工程师说我不知道哪个网段是我的安全工程师说你们这个放行规则有问题。原因很简单没有一个大家都认的地图。所以我们开工第一件事不是配置设备而是画一张全量分区拓扑图。把所有网络区域、互联接口、VLAN范围、网段归属、安全策略边界全部标清楚贴在运维办公室里后续所有讨论都基于这张图。这张图的颗粒度要适中不画到每一根网线的物理连接但必须画到哪个区域跑什么业务、谁和谁可以通信、互通走哪个设备。实践中我们把网络划分为生产业务区、管理控制区、存储交换区、带外管理区、日志审计区五个分区每个分区对应独立的VLAN段和IP规划。2.2 IP地址与VLAN编码规则给未来留够余量分区确定后最难的不是分网段而是定规则。我们踩过一个坑早期规划时管理网段只预留了一个C类地址/24半年后新增一批设备地址不够用被迫重新规划导致大量配置返工。最终我们采用了分区用途序号的编码逻辑提前规划了完整方案。核心原则是每个分区至少预留当前需求三倍的地址空间管理地址和业务地址分开设备间的互联地址单独一段所有地址必须有台账记录。具体到操作层面我们用的规划模型大概是这样的管理网段10.10.0.0/16承载SSH、堡垒机代理、监控采集等所有管理流量业务网段10.20.0.0/16承载实际业务系统通信存储网段10.30.0.0/16独立于业务和管理只开放给存储设备和服务器带外管理网段10.88.0.0/16连接所有服务器的远程管理接口专门用于物理机故障时的紧急维护设备互联段10.99.0.0/16用于网络设备之间、网络设备与安全设备之间的互联这套划分看起来简单但对于隔离内网至关重要。因为管理流量、业务流量、存储流量混在一起是导致故障面扩大的最常见原因。2.3 访问控制最小化原则加唯一入口网络分区画好了策略怎么放我们的做法是三步走。第一步默认全部拒绝先保证不通。所有区域间流量从零开始谁需要通信谁提需求而不是先全部放通再慢慢收紧。第二步按业务依赖放行只开必要的端口和协议。第三步所有管理运维操作统一走堡垒机跳板禁止直连管理地址。这里特别想提醒一点设备管理口的访问控制往往被忽略。很多团队把精力花在业务区策略上却把网络设备、服务器带外管理接口晾在一边要么不设防要么放得太宽。实际上管理口的威胁比业务口更大因为它直接通向设备控制面。我们的规矩是所有管理入口包括带外管理口一律只接受来自跳板机网段的连接其他来源全部丢弃。3. 配置基线模板化让设备从上线第一天就规格统一3.1 分区配置模板与加固基线把经验固化成文件隔离环境的配置管理最怕每个人有每个人的风格。有人习惯用root直接登有人喜欢开多个管理协议有人临时加几条ACL就忘了删。所以必须把配置固化成模板从设备上线第一天就按模板来不允许自由发挥。我们为每类设备都建立了配置模板。服务器模板包含SSH禁用密码登录、登录超时时间、日志转发地址指向集中日志平台、远程管理口密码复杂度要求网络设备模板包含VLAN划分、端口描述规范、SNMP只读配置、NTP指向内网时间服务器安全设备模板包含默认拒绝策略、会话超时、日志外发配置。这些模板不是网上随便找一份改一改而是结合我们自己的网络分区、业务特点、管理要求一点一点磨出来的。每次在运维中发现一个好用的参数或者排掉一个因为配置不当导致的故障都会把经验补进模板里。模板版本跟着时间走每季度评审一次。3.2 配置版本管理没有历史记录的配置就是没配置配置模板化只是第一步更关键的是配置版本管理。我们把所有配置模板、设备配置备份、变更记录全部纳入版本管理形成了统一改、统一审、统一发的闭环流程。每次配置变更先改模板评审通过后再生成设备配置最后下发并备份。这里有一个很实用的经验版本库里不只要存最终配置还要存为什么这么改。我们要求在每次变更记录里写清楚变更原因、影响范围、回滚方法。半年后你再看一条配置如果没有当时的变更说明基本猜不出当初为什么加这条规则。3.3 命名规范与标签体系让每一台设备有名有姓配置管理的另一个基础是命名。很多隔离网络里设备命名随性得很server1test2新服务器01看着知道是啥过仨月再看就是一堆乱码。我们建立的命名规则是四段式区域码-用途码-业务码-序号。一台跑核心数据库的服务器如果放在生产区命名就是prod-db-core-01一台用于日志采集的机器就是log-collector-host-02。规则敲定后所有设备、端口、VLAN、IP都按这个逻辑标注配合资产标签系统做到看到名字就知道设备在哪、干什么、归谁管。这一步看起来不起眼却是后面资产管理、监控告警、变更审批能够自动化的前提。没有规范的命名和标签任何自动化都是空中楼阁。3.4 配置漂移不被发现的悄悄改变才是最大风险配置基线有了设备也按模板配好了但如果没有人检查三个月后就又变得五花八门。这里要引入一个概念配置漂移也就是设备实际配置偏离标准基线的程度。我们的做法是周期性基线巡检每周自动对比设备当前配置与基线模板发现漂移立即告警。漂移分两类一类是合规性漂移比如有人手动改了某个参数一类是临时性漂移比如为了排查故障临时加的调试配置。无论哪种都必须限期纠正或补走变更流程。有个案例让我印象很深某台服务器的日志转发地址被人误改系统连续运行了两周日志一直没进集中平台直到做基线巡检才发现。如果靠人工检查这种问题基本上不可能被发现。所以配置漂移检测不是锦上添花而是隔离网络标准化管理里的必备项。4. 隔离环境的运维工具链没有公网我们照样要联网运维4.1 内网软件源与补丁分发自建物资仓库隔离环境里最让人头疼的就是没有公共软件源。装系统要镜像装软件要依赖打补丁要离线包。一次两次手工传没问题几十台设备逐一手工更新那就不是在运维是在当搬运工。我们的解法是自建内网软件源体系。操作系统层面把完整镜像复制到内网服务器通过内部镜像源提供系统安装和补丁更新服务第三方软件层面把所有常用软件、依赖包提前下载缓存到内网仓库按类别归档定期同步更新补丁层面建立外网下载-离线导入-内网分发-灰度验证-批量安装的流程每次补丁都先在测试机跑一遍再推生产。这套体系的关键在于来源可靠。所有进入内网的软件包必须经过校验包名、版本、哈希值、来源信息都要记录在台账里。有一次我们从某个第三方站点下载了一个工具包解压后发现里面有异常脚本幸好当时有校验流程才没有把风险带进隔离网。4.2 日志、监控与告警的集中化没有视野就没有安全感隔离网络的运维最忌讳的就是看不见。网络是断开的不代表故障不会发生。恰恰相反因为外部监控探针进不来、云监控用不了隔离环境里的可观测性建设更加重要。我们落地了一套采-存-用三层监控体系。采集层每台服务器安装统一的采集代理采集CPU、内存、磁盘、网络流量等基础指标同时收集系统日志、安全日志存储层所有日志和指标进入集中平台统一保留至少180天满足事后回溯需求使用层统一看板展示全网健康状态按设备类型、业务系统建立告警规则只告真实故障不做告警轰炸。这里想吐槽一下告警配置。刚开始我们参考网上模板配了一批告警规则结果一天几百条告警大部分是误报和噪音运维人员疲于奔命最后的结局是全公司把告警屏蔽了。后来我们花了整整两周时间一条一条规则梳理哪些指标必须盯、哪些波动可以容忍、哪些问题要打电话通知、哪些只需记个工单。梳理完告警量降到了每天二十条左右真正有价值的故障信息反而一条没漏。4.3 堡垒机把所有人的操作都放到摄像头下面隔离网络里运维通道是最敏感的环节。如果每个人都可以直连设备操作出了事根本没法追责。所以堡垒机是标配而且要做好这四件事账号统一纳管所有运维账号统一在堡垒机里管理实行一人一账号不共享、不混用访问权限最小化每个人只能访问自己负责的设备授权要定期复核离岗人员及时收回操作全程录屏所有会话录制视频并关联操作日志定期抽查高危命令拦截通过规则引擎识别危险命令比如格式化、删库、批量重启执行前二次审批。有一次处理故障时两个同事同时登一台设备排查由于堡垒机的会话录屏和账号隔离设计整个排查过程被完整记录事后复盘时非常清楚地看到了是哪个操作导致的回退问题。如果是在过去那种直连模式里这种复盘基本靠猜测。4.4 时间同步被无数人忽略的地基隔离环境里没有公共NTP服务器设备时间容易漂移而时间不一致会引发一连串问题日志顺序乱了、证书校验失败、监控数据对不上、计划任务错乱。我们项目初期就吃过这个亏几台服务器的时间差了十几分钟排错时日志对不上浪费了整整一个下午。后来我们把时间同步纳入基础配置专门规划了一台内网NTP服务器所有设备统一指向它并加了一层校验每周检查全网设备时间偏移超过500毫秒就告警。这件事技术含量不高但属于隔离网络里必须做、且必须做在前面的基础设施工程。5. 台账、变更与审计标准化管理的四个闭环5.1 资产台账从心里有数到线上有数很多运维团队的资产管理靠的是一张Excel表加几个人的记忆力。设备少的时候没有问题设备一多、人员一流动账实不符就成了常态。隔离网络对此更敏感因为设备和业务绑得紧资产底数不清安全评估都是空谈。我们搭建了一套资产台账系统核心字段包括资产编号、设备名称、型号、序列号、IP/MAC、所属区域、承载业务、责任人、启用日期、维保状态。所有设备入库时必须录入完整信息贴上资产标签。更重要的是台账和网络配置绑定设备变更IP、调整用途、报废下线台账必须同步更新。每个月做一次账实核对对不上就查原因。5.2 变更流程没有工单的不许动标准化管理的核心是把随手的操作变成有记录的动作。我们的规矩是凡是涉及设备配置、网络策略、系统参数的操作一律走变更流程。变更流程分为申请、评估、审批、实施、验证、归档六步。申请时必须写清楚变更内容、影响范围、实施时间、回滚方案。评估阶段由技术负责人确认风险等级高风险变更还要做演练。这套流程在实际运行中会遇到阻力最大的阻力来自急事。半夜告警响了设备要重启哪有时间走流程所以我们做了一个分级处理机制紧急故障处理走快速通道先处理、后补单但如果涉及高危操作仍然要电话报备并获得授权全程记录。5.3 定期巡检与合规审计流程的最后一道保险台账和变更流程建立起来之后还有一个环节不能省定期巡检与审计。我们的巡检分两类一类是日常巡检每天固定时间检查核心设备状态、告警情况、备份执行结果另一类是月度深度巡检检查配置漂移、账号权限、策略冗余、日志完整性。审计则每季度做一次重点关注三个问题账号权限是不是还和岗位匹配、有没有长期不用的僵尸账号、高危操作有没有都走流程。审计发现问题不是要追责谁而是要把流程的漏洞补上让标准化体系越跑越稳。6. 落地过程中的几个意外踩坑实录与心态建议6.1 证书和信任链内网CA要提前部署第一次在内网部署应用系统时我们没提前做统一的证书体系结果各个系统自己签自己的证书客户端访问时报证书错误用户为了省事直接点继续访问不仅体验差还留下了严重的安全隐患。后来我们规划了内网CA统一签发和管理证书所有业务系统、网络设备、运维管理平台全部接入这套信任链。这个事一定要提前做因为证书一旦在设备上装过、被浏览器记住过后期更换特别费劲。6.2 临时绕过是最大的敌人标准化管理最大的挑战不是技术是人性。我见过最典型的场景是某位同事为了省事把一台设备的带外管理网口直接接到了办公网交换机上理由是就临时用一下查个配置就拔掉。结果这台设备直接在办公网上暴露了一段时间被安全扫描发现整周都在写整改报告。后来我们定了一条铁律所有网络接入必须走标准通道任何临时变更必须提前报备并记录哪怕只接五分钟。别看这只是一条规矩它挡住的风险比任何技术手段都多。6.3 新人的习惯培养是标准化能否持续的关键再好的制度和工具也要有人执行。新人进场如果随便乱来制度就是一张废纸。所以新人入职必须培训标准化操作流程上手操作要有老员工带前几次变更必须有人复核。我们把常见操作做成了图文操作手册怎么申请变更、怎么通过堡垒机登录、怎么提交配置修改、怎么验证结果。新人照着做就能合规而不是靠传帮带的口口相传。做了几年隔离网络运维我最大的体会是内网隔离只是网络安全与管理的第一步真正的管理难度不在网络架构本身而在运维团队能不能把统一规矩这四个字一以贯之地执行下去。标准化的价值平时看不到但每一次故障排查、每一次合规审计、每一次新人接手时它都会跳出来悄悄帮你省下大量时间。如果你也在做类似的项目别急着上工具先花时间把分区、基线、台账、流程这四件事想清楚后面的路会顺很多。
阅读完成 · 觉得有帮助？
