1. 为什么网络里需要QinQ从VLAN数量不够说起做网络这行的人迟早会遇到一个尴尬场景某天客户说要给几百个租户做二层隔离每个租户还要独立VLAN。你打开交换机一看标准VLAN编号只有4096个剥掉保留地址实际可用的也就四千零几个要在一个接入区域内容纳几百个业务VLAN理论上还凑合。但是接入网往上走汇聚层要透传这些VLAN核心层要对接防火墙和负载均衡每层设备都得预留、规划、划分VLAN。一旦租户规模超过几百个全网VLAN规划就成了灾难。我举个实际例子。某运营商做过一个小区宽带接入项目一个OLT下面挂了八百多个用户每个用户分配一个业务VLAN用于上网还要单独分配一个VLAN用于IPTV。光这一个局点就要占掉一千六百多个VLAN汇聚交换机之间要跑Trunk。更麻烦的是不同用户的VLAN会重复比如每个小区都用VLAN 100做业务但所有VLAN 100汇聚到一台BRAS上就冲突了。传统做法是把用户VLAN重新规划成全网唯一的VLAN但这种做法在手工配置量、维护成本和出故障的排查成本上都让运维想哭。QinQ802.1ad也称Stacked VLAN解决这个问题的思路很直接在运营商边缘交换机上给用户报文再打一层外层VLAN标签。用户自己的VLAN叫内层VLANCustomer VLANC-VLAN运营商分配的VLAN叫外层VLANService VLANS-VLAN。一个S-VLAN里面可以封装任意多个C-VLAN两个VLAN ID叠加起来可用数量从四位数变成了百万级别而且用户侧怎么规划VLAN都不会影响运营商骨干网。这里有个关键点很多人没意识到QinQ的配置本身只有几条命令真正难的是理解这个双层标签的处理流程以及判断什么场景用基本QinQ、什么场景用灵活QinQ。这篇文章就围绕这两个问题展开把配置、原理、转发行为和排错思路完整拆一遍。2. 基本QinQ与灵活QinQ的核心区别同一根光纤两种租户模型先给一个最直观的对比后面再展开讲机制。对比项基本QinQ灵活QinQSelective QinQ外层标签添加方式对端口收到的所有报文统一打同一个S-VLAN根据报文的内层VLAN或报文特征打不同的S-VLAN用户VLAN匹配不区分用户VLAN全部封装可以针对指定VLAN范围或特定VLAN做选择性封装适用场景单个用户、单业务接入用户接一个VLAN多业务、多VLAN的用户接入需要按业务分流配置复杂度一条port link-type 一条port trunk allow-pass就搞定需要traffic classifier、behavior、policy等流策略配合扩展性扩展结构简单但灵活性差结构稍复杂但业务扩展和差异化策略能力强基本QinQ的操作逻辑是一刀切用户流量从一个端口进来不管你内层VLAN是什么我都给你加一个固定的外层VLAN。好处是配置极简坏处是你没法对外层做差异化处理。比如一个用户同时开宽带和IPTV业务宽带VLAN是100IPTV的VLAN是200两个流量从同一个端口进来基本QinQ只能给它们都打上同一个S-VLAN到了运营商网络里这两个业务就混在一起了。如果后续要针对不同的业务走不同的转发路径或做不同的限速策略这种方案就不好用了。灵活QinQ的核心能力是看人下菜碟交换机收到报文后先看一眼内层VLAN再根据你预先定义的规则给不同类型的报文打上不同的外层VLAN。还是上面的例子VLAN 100进来的打S-VLAN 10VLAN 200进来的打S-VLAN 20。到上层网络后S-VLAN 10走宽带BRAS通道S-VLAN 20走IPTV通道业务彻底分开后续调度、限速、链路规划都变得很干净。个中道理其实是“服务边界”问题。基本QinQ把服务边界画在端口上灵活QinQ把服务边界画在业务类型上。端口是物理实体业务是逻辑实体规模小的时候用物理边界就够规模一大必须用逻辑边界。所以我的建议是如果这个接入端口下挂的是一个家庭、一个分支机构业务类型相对固定用基本QinQ就够了但如果是多租户接入、一台设备要承担多种业务分流直接上灵活QinQ别在中间地带反复折腾。3. QinQ报文转发机制拆解单层标签怎么变成双层又怎么剥下来这一节是全文的基石不管你是只写配置还是要灵活调优必须把报文转发的来龙去脉搞清楚。否则出了问题抓包看到双标签都不知道哪一层是哪一层。3.1 802.1Q单层标签的报文结构回顾普通VLAN报文的标准以太网帧结构里在源MAC和长度/类型字段之间夹着一个4字节的802.1Q Tag。这个Tag内部大概是这个布局2字节的TPIDTag Protocol Identifier取值0x8100告诉交换机这帧是带VLAN Tag的。2字节的TCITag Control Information拆开是3比特的PCP优先级字段、1比特的DEIDrop Eligible Indicator、12比特的VLAN ID。对交换机而言看到TPID为0x8100就按802.1Q处理。这一步得记牢因为QinQ的外层TPID是另一个值后面很多冲突都是TPID配置不一致搞出来的。3.2 双层Tag的添加过程QinQ报文同样保留内层Tag只是在外面再套一层Tag。整个帧变成目的MAC6字节 源MAC6字节 外层Tag4字节 内层Tag4字节 长度/类型2字节 数据载荷 FCS。外层Tag的TPID默认是0x8100但也可以配置成0x88a8802.1ad标准推荐值。收到带单层Tag的用户报文后交换机执行的动作是识别端口的链路类型和QinQ配置在报文的以太网头部插入一个外层Tag内层Tag自然往后挪如果这台交换机是边缘设备还会同时修改源MAC地址的某些特征有些设备可选用于后续流量溯源重新计算FCS校验值。我见过很多人在测试环境里用电脑直接接QinQ端口抓包发现内层Tag根本看不到这是因为电脑网卡默认不识别也不转发双Tag帧必须在中间串一个镜像交换机或者用支持QinQ抓包的专业网卡。做实验验证时要注意这一点不然你会怀疑配置有问题。3.3 内层Tag的透明传输与边缘剥离QinQ在运营商网络中仍然是Trunk的传输机制骨干交换机通常只看外层Tag内层Tag对它们是不可见也不需要感知的。这种透明性正是QinQ的核心优势骨干网的VLAN规划完全可以独立于用户侧用户怎么折腾内层VLAN骨干网都无感。到了对端边缘设备再根据外层Tag把报文剥离露出原始的单层Tag帧转发给最终用户设备。边缘设备的剥离逻辑通常是收到报文检查外层TPID/VLAN匹配到配置的QinQ剥离规则后删除外层Tag剩下内层Tag变成标准802.1Q帧正常走MAC地址表转发。这里有个易踩的坑如果你在对端边缘设备上同时使能了基于VLAN的MAC地址学习却在回程方向忘了配置QinQ剥离规则那么对端设备上看到的MAC表和VLAN表会错乱流量从一个方向通了但从另一方向不通这种故障现象特别迷惑人光看一侧状态根本定位不了。3.4 为什么TPID值会影响整个网络互通TPID是QinQ里最不起眼却最容易出问题的参数。假设接入交换机配置的外层TPID是0x88a8但对接的核心交换机端口只认0x8100会直接把这个帧当成未知帧丢弃。企业在自建机房时往往忽略这个值但运营商网络中不同设备厂家对默认TPID的实现不一样必须逐段确认。我的实践经验是在连接运营商设备的边界端口上永远先确认对端的TPID配置再动QinQ的命令。两边TPID不一致是一切诡异QinQ不通的基础性问题排查时间成本极高预防成本却几乎为零。4. 基本QinQ配置实战接入交换机的单业务透传说完了原理进入正题。这一节会把基本QinQ的配置流程完整走一遍包括端口类型的选择、外层VLAN的规划、以及配置后怎么验证。我会用命令行示例来讲解语法基于常见企业级交换机具体型号不同命令风格会有差异但配置逻辑完全一致。4.1 配置前的规划S-VLAN怎么选基本QinQ配置前唯一需要认真想的就是S-VLAN编号的规划。这里有几个硬性约束S-VLAN的编号必须在交换机支持范围内普通交换机4094个可用。S-VLAN和各物理链路的Trunk规划要避开骨干网上其他业务的VLAN。如果S-VLAN在汇聚层还要继续透传最好规划连续编号或者有业务含义的编号段比如10-19是宽带、20-29是IPTV、30-39是专线方便后面排查时直接靠VLAN号反推业务。举个我自己用过的规划例子。一个中型园区接入项目核心和汇聚之间跑了三层路由接入交换机做了QinQ外层VLAN 100分配给所有普通家庭宽带用户外层VLAN 101分配给所有IPTV用户外层VLAN 102分配给视频监控区域。这样在汇聚层直接通过外层VLAN就能识别业务类型配置安全策略和QoS策略时非常顺手。4.2 端口配置步骤和命令以一个接入交换机为例假设业务接入口是GE0/0/1上联口是GE0/0/24配置逻辑如下。第一步在业务接入口上使能QinQ并设置外层VLAN。system-view interface GigabitEthernet0/0/1 port link-type dot1q-tunnel port dot1q-tunnel pvid vlan 100 #这里的链路类型是关键。dot1q-tunnel端口是一个特殊模式它会把所有进入的报文不管是否带Tag都加上一个外层Tag。如果你在普通trunk口上强行加QinQ配置部分设备会直接拒绝所以端口类型必须先改对。第二步上联口配置为Trunk并允许对应的S-VLAN通过。interface GigabitEthernet0/0/24 port link-type trunk port trunk allow-pass vlan 100 #这里有一个细节上联口的Trunk allow-pass列表只需要放通外层VLAN不需要放通内层VLAN。很多人配置到这里会把内层VLAN也加进allow-pass列表这个操作是多余的而且可能造成上联口的VLAN表膨胀在配置大规模接入时有隐患。第三步如果接入的终端本身也带VLAN Tag比如家庭路由器拨号后发出的帧你还需要在端口下开启识别带Tag报文的能力。大部分设备在dot1q-tunnel模式下默认就能处理带Tag的报文但有些设备需要额外配置port QinQ enable这条命令在不同厂商设备上位置不同有些在端口视图下直接输有些在VLAN视图下配。配置前先看设备的命令手册别照抄命令导致没生效。4.3 验证和抓包确认配置完成后不要急着交差在两端设备上做下面几个检查接入交换机上使用display qinq interface GigabitEthernet0/0/1查看端口QinQ状态确认外层VLAN是不是100。上联口上使用display vlan 100查看这个VLAN的端口成员关系。在接用户电脑的端口上设置镜像抓到报文后确认存在两个Tag外层是100内层是用户原来的VLAN值。如果在抓包里只看到一个802.1Q Tag先别怀疑交换机坏了。大概率是你用的终端设备本身的网卡驱动把Tag剥掉了或者镜像口配置的是普通access口而不是镜像到Trunk口。把镜像目的口改成Trunk且允许对应VLAN后双Tag就能看到了。4.4 基本QinQ的局限性什么时候该换方案基本QinQ配置简单、运行稳定但它有一个天然的短板不能在同一个端口上针对不同的内层VLAN做不同的外层封装。什么意思呢比如一个用户下挂了两个VLANVLAN 100走宽带VLAN 200走语音。基本QinQ无法做到让VLAN 100封装成S-VLAN 1000、VLAN 200封装成S-VLAN 2000只能统一给它们都打上同一个S-VLAN。这个限制在实际组网中会带来业务区分问题。宽带、语音、IPTV甚至视频监控的流量都打同一个外层标签进入骨干网上层设备就没办法针对业务类型做区分只能全部按同一个策略处理。你确实可以在内层VLAN上做二次分类但那样QinQ就失去了简化边缘配置的意义。所以基本QinQ适合的画像非常清晰一个端口、一个用户、一个业务VLAN、一个外层S-VLAN。但凡涉及多业务共用一个端口就该考虑灵活QinQ了。5. 灵活QinQ配置实战按内层VLAN分流的多业务接入灵活QinQ的核心不再是端口对一个固定S-VLAN的映射而是流量分类行为动作绑定的框架。可以在端口收到报文后先识别内层VLAN再根据识别结果添加不同的外层VLAN标签。5.1 配置思路和配置准备先明确配置目标。假设有这样一台接入交换机同一接入端口下挂一个企业的多业务终端终端发来的VLAN 100报文需要封装外层VLAN 1000送到宽带来VLAN 200报文需要封装外层VLAN 2000送到语音来VLAN 300到399的报文统一封装外层VLAN 3000送到视频监控平台来。这种需求用基本QinQ无法实现必须用灵活QinQ。配置思路是先把内层VLAN的识别规则定义出来再把对应的外层VLAN动作定义出来最后把规则和动作绑定在一张策略里应用到端口上。配置前要确认设备支持流策略QinQ的联动大部分中高端交换机都支持但目前低端入门级设备不一定支持采购前最好先验证一下。5.2 流策略配置步骤第一步创建VLAN分类规则。traffic classifier vlan100 type and if-match vlan-id 100 # traffic classifier vlan200 type and if-match vlan-id 200 # traffic classifier vlan300to399 type and if-match vlan-id 300 to 399 #这里的关键点是if-match vlan-id后面可以接单个值也可以接范围。配置范围匹配时注意有些设备不支持跨非连续范围只能用多个规则或者用子网掩码方式匹配我在设备上就遇到过vlan-id 300 to 399正常但vlan-id 300 to 399加上另一个单独VLAN就必须拆成两条规则的限制。第二步定义添加外层VLAN的动作。traffic behavior addvlan1000 add vlan-id 1000 dot1q-tunnel # traffic behavior addvlan2000 add vlan-id 2000 dot1q-tunnel # traffic behavior addvlan3000 add vlan-id 3000 dot1q-tunnel #看到dot1q-tunnel关键字了没这个关键字指定了外层Tag的封装方式为QinQ。如果不带这个关键字某些设备上add vlan-id会直接改内层VLAN而不是添加外层Tag这算是一个容易忽略的危险点我在测试时就是因为漏了dot1q-tunnel导致整个报文的VLAN被改写了用户的业务VLAN直接被破坏。所以写配置的时候务必要把behavior里的add动作写得明确。第三步绑定策略并应用到端口。traffic policy qinq_policy classifier vlan100 behavior addvlan1000 classifier vlan200 behavior addvlan2000 classifier vlan300to399 behavior addvlan3000 # interface GigabitEthernet0/0/1 traffic-policy qinq_policy inbound #注意端口策略应用的方向是inbound也就是入方向。这个方向必须对因为外层VLAN是在报文进入接入交换机的那一刻被打上的。如果你把策略配到了outbound方向不仅不会生效还可能影响回程流量的转发。第四步上联口允许所有S-VLAN通过。这一步和基本QinQ一样不再赘述只是这里的allow-pass列表要同时放通1000、2000、3000这几个外层VLAN。5.3 配置后的验证手段灵活QinQ的验证比基本QinQ复杂因为流量被分类了不能只检查一个端口状态。我习惯的验证路径是从终端分别发出VLAN 100、VLAN 200、VLAN 300的测试报文在接入交换机的入方向镜像抓包确认每个报文被加上了对应的外层VLAN在核心设备上查看外层VLAN的MAC表项确认不同S-VLAN的报文到达了预期位置丢掉带Tag的报文在最终业务网关上也抓一把包确认内层VLAN还是原来的值。还有一个验证技巧给不同S-VLAN配置不同的ACL故意drop某个S-VLAN的流量看另一个S-VLAN是否还能正常通。这个方法能并行验证多业务的连通性在交维验收时特别有用。5.4 灵活QinQ策略的优先级和命中规则设计灵活QinQ流入策略有一个微妙之处就是规则的先后顺序。策略里的classifier是顺序匹配的报文先命中哪个规则就先执行哪个动作不再继续往后匹配。所以在配置时要把最精确的规则放前面范围大的规则放后面。比如你既定义了if-match vlan-id 100又定义了if-match vlan-id 100 to 200两条规则在策略里顺序不同结果完全不同。如果把范围大的放前面VLAN 100的报文就会先进大规则永远命中不了精确规则。这种问题在配置量小的时候不明显一旦策略里有几十条规则顺序错误就会造成某些业务VLAN被封到错误的外层标签里。排查起来只能用display traffic policy verbose逐个确认命中次数效率很低。预防办法是配置前写一张规则清单标注每个规则的范围和先后顺序再落配置到设备。6. QinQ配置中常见的故障场景和完整排查链路QinQ的问题普遍有个特征表面现象千奇百怪实质原因之间大多是重复的。这一节把我在实际项目中见过的故障类型串一条排查链路出来按这个链路走能解决绝大多数问题。6.1 现象一用户能获取IP地址但业务不通这是QinQ环境里最常见的现象。用户终端能正常DHCP获取地址说明接入链路和网关是通的但访问特定业务时卡住。这类问题优先排查外层VLAN穿透路径。在接入交换机上确认S-VLAN已允许通过在核心交换机上确认外层VLAN存在确认Trunk口放通了该S-VLAN。再看不通业务路径上的防火墙或负载均衡有没有针对该外层VLAN做策略。很多运维的第一反应是抓包看内层VLAN但QinQ环境里真正被上层设备看到的是外层VLAN内层VLAN在业务网关那里才会重新浮现。所以第一步要确定哪一跳设备应该看到几层Tag把这个搞清楚了排查效率能提升一大截。6.2 现象二部分VLAN通部分VLAN不通这个现象多半出在灵活QinQ的匹配规则上。先检查策略里的classifier顺序再检查if-match的VLAN范围写得对不对。我曾经见过一条if-match vlan-id 200 to 300的规则把VLAN 250到300之间全部包进去导致另一个VLAN 260的规则永远没有命中。这种问题靠看配置就能发现前提是你对规则的交集范围保持敏感。还有一种可能是策略下发成功后某些VLAN在端口里被其他功能比如基于VLAN的ACL拦截了。先把QinQ策略临时取消用标准Trunk模式测试同一端口下该VLAN能否正常转发能通就说明QinQ策略的问题不能通则回头看ACL和端口配置。6.3 现象三外层VLAN在骨干网上被丢弃这个现象的特征是接入端正常上联端口也能看到该VLAN但经过汇聚或核心设备后报文消失。重点检查设备之间的TPID一致性还有二层VLAN的allow-pass列表。两类问题中TPID的一致性最隐蔽因为端口上display vlan都能看到该VLAN存在配置上也看不出明显错误。我遇到过一次接入端用0x88a8汇聚端默认0x8100结果所有带QinQ标签的报文在汇聚设备上被当成无效帧丢弃。调整前先在两端各抓一次包统计收到的帧里TPID值确认一致后再排查其他原因。6.4 一个完整的排查路径总结我在项目里经常把QinQ问题按下面这个路径走基本能覆盖90%以上的场景确认两端设备的QinQ端口模式和TPID一致确认接入端口的上行方向策略/动作已正确下发确认整条路径上所有Trunk口都放通了对应的S-VLAN确认上层设备使用的VLAN识别逻辑是否要求剥离外层Tag后再做路由在关键转发节点镜像抓包对比报文在每一跳的Tag变化用抓包结果缩小范围用临时的放通规则或临时VLAN替换法来验证是VLAN规划问题还是转发路径问题。这套路径看起来啰嗦实际在故障现场能帮你厘清思路。特别是第5步抓包永远比猜快。QinQ环境抓包时要同时抓原始接入口和对端上联口两个位置一对是哪个设备丢的、哪个设备改的一目了然。7. 实战中容易重复踩的几个坑配置命令本身不复杂但我每次上线QinQ项目都还是能看到下面这些低级错误。整理出来算是给自己提个醒也给后来的人少付点学费。第一个坑把QinQ端口和业务端口混淆。QinQ端口是接入用户业务的边界不是上联口。我见过有人把上联口直接设成dot1q-tunnel模式结果所有上联流量都被打了一层多余的Tag整个网络瞬间乱套。上联口永远是Trunk或者Access按二层规划走。第二个坑配置了QinQ但忘了考虑DHCP的广播报文。DHCP Discover是广播帧QinQ封装后同样带双层Tag穿越网络。如果你的汇聚或核心设备对广播域做了限制或者在三层接口上有DHCP Snooping策略可能会出现用户能Ping通网关但获取不到IP地址的诡异现象。排查时优先看DHCP Snooping和广播抑制策略再把QinQ外层VLAN加到对应的DHCP地址池关联里。第三个坑QinQ不支持和某些二层功能叠加使用。比如部分交换机上的MSTP多生成树和QinQ端口同时使能时生成树BPDU的处理逻辑会变化导致上联口阻塞异常。还有一些设备的端口安全MAC地址绑定和QinQ联动后会屏蔽内层VLAN的MAC学习造成业务不通。这类兼容性问题很难靠经验推断只能靠上线前的功能矩阵测试来规避。我的做法是每次项目中遇到新设备型号都会先把QinQ和需要叠加的二层功能做一轮小规模验证再大规模铺开。第四个坑灵活QinQ策略应用后没有检查策略下发状态。有些设备的traffic policy在配置时会显示下发成功但在某个端口视图下应用时可能因为资源不足而失败而且设备不一定打印日志。配置完必须执行display traffic policy statistics来确认策略的命中次数在增长否则策略可能只是写在了配置里而没有真正生效。8. QinQ和其他隧道/隔离方案的选型对比不少人在设计网络时会在VXLAN、QinQ、端口隔离等方案之间摇摆。我的经验是技术选型必须服从组网规模和收敛边界。VXLAN适合大规模多租户数据中心场景通过UDP封装跨越三层网络构建大二层能够支撑超过千万级别的逻辑网络。但是VXLAN需要VNI和VTEP的复杂配置对设备性能要求也高在园区网、城域网接入层使用往往是大材小用反而增加了运维负担。QinQ适合城域网汇聚层、园区接入层解决的是接入侧多VLAN复用同一张物理网络的问题。它操作在二层不依赖三层路由延迟开销极小是接入层最成熟的封装手段。端口隔离和PVLAN解决的是同VLAN内终端互访问题和QinQ不冲突两者可以叠加使用。接入交换机上既做QinQ封装又在同一端口域内做端口隔离这样既实现了跨租户的VLAN复用又防止同一S-VLAN内的用户之间互访这个组合在运营商小区宽带场景中非常常见。如果你问我什么时候从QinQ迁到VXLAN我的判断标准是当网络需要延伸到跨地域的三个以上机房并且业务侧频繁要求二层互通时再考虑VXLAN不迟。在此之前QinQ加三层路由的模型完全够用而且故障域更小维护更简单。9. 配置和维护QinQ的一些额外心得最后分享几个日常运维和项目上线时的技巧这些东西不写在官方配置手册里但实战中非常管用。配置模板化是我强烈建议的做法。QinQ配置虽然不长但一旦接入交换机数量超过几十台逐台敲命令不但效率低还容易产生不一致。我习惯把接入端口的基本QinQ配置和灵活QinQ策略保存为脚本模板再结合自动化平台批量下发。批量操作前先在一台设备上验证命令语义确定无误后再跑全部设备。命名规范要提前统一。S-VLAN编号本身含义模糊建议在所有设备的接口描述里写清外层VLANS-VLAN用途对端站点比如写成To_OLT_SiteA_SVLAN100_Broadband。这样出现跨层故障时一个display interface就能看出对端关系不用翻几十页的规划文档。变更窗口内要准备回退方案。QinQ的配置变更影响的是整个接入域的转发行为不做回退预案就上线风险非常高。我的习惯是变更前备份设备当前配置把新增的QinQ策略先写成undo版本的脚本一旦出现异常流量或用户投诉立刻执行回退恢复时间控制在几分钟内。上面这些实操细节与其说是知识点不如说是次数堆出来的经验。QinQ配置本身不难难的是你对每一跳设备上Tag变化是否了然于胸。把报文转发模型画清楚把内层VLAN、外层VLAN、TPID三个变量彻底搞明白再上手敲命令基本就不会出大问题。