1.强大核心功能矩阵，详解腾讯云负载均衡CLB高可靠高性能背后架构

1 前言

腾讯云负载均衡（Cloud LoadBalancer），简称CLB, 负载均衡通过设置虚拟服务地址（VIP）将来自客户端的请求按照指定方式分发到其关联的多台后端云服务器，服务器将请求的响应返回给负载均衡器，负载均衡再将响应发送到用户，这样就向互联网用户隐藏了内网结构，阻止了用户直接访问后端云服务器，使得服务器更加安全，可以阻止对核心网络栈和运行在其它端口服务的攻击。

通过其作用可以看出负载均衡作为整个服务的网关入口，那么保证其服务在高性能的前提下既稳定又可靠显得至关重要。本文为大家介绍一下腾讯云公网负载均衡高可靠，高性能的背后做了哪些事。

2 腾讯云负载均衡基础架构

2.1 多级容灾的架构，实现高可靠

首先对负载均衡对流量转发有个大致的认识，如图1客户端发起请求来访问负载均衡提供的公网VIP，CLB再根据指定的方式通过内网转发给后端的服务器。

在CLB的技术架构图出来前，大家可以想象一下，对于转发设备最关键的要有交换机和路由器，以及真正的转发机器，那么交换机和路由器如何部署才能有更高的可靠性呢，转发机器以怎样的结构组合才能带来高性能呢，简单的串行网络架构必然存在单点故障，其作为关键路径在出现故障时，对整个服务来讲是致命的，所以多交换机部署，转发机器集群方式部署势在必行。如图2左所示，在单机房得交换机和转发机器的部署情况如下，其中LD为转发机器，以下4台机器为一个集群，从图中可以看到，当某个设备发生故障，通过OSPF路由协议来快速侦测故障设备，进而秒级剔除相关设备，一个集群中多个LD对长连接进行同步，当其中LD挂了之后，请求落在另外一台LD上，对于用户来讲请求还是无损。从架构上也可以看出交换机层面的容灾，而不同的交换机部署在不同的机架位，实现了机架层面的容灾，当LD发生故障时，快速剔除故障转发机器，并能够自动添加备用的机器，快速的补齐性能损耗。

从单机房的介绍来看，还未有多机房的容灾能力，该能力对于云厂商来讲也是必不可少的，IDC A 和IDC B会配置相同的VIP等相关信息，BGP A 和BGP B出口通过配置不同的COST 值来确定主备，当某个IDC 出现了故障，那么自动调整COST值进行切换，可以在秒级实现不同IDC间容灾能力。以上即为多级容灾的架构。

从架构上实现了高可靠。

2.1 数据流转发方式，满足多种网络结构

公网负载均衡当前支持的协议主要有TCP、UDP、HTTP、HTTPS，对于四层和七层的协议，转发的方式和结构不一样，腾讯云的云主机从之前的基础网络逐步向私有网络过渡，为了满足多种网络结构，CLB的数据转发方式如图3所示：

对于HTTP、HTTPS协议的支持情况，四层集群下面还会有一层七层集群，基于NGINX开源项目来做的七层转发，具体与后端CVM的通信方式一致，对于物理网络的机器，转发到母机的数据包格式是IPIP包，经母机上的KO进行解包，并将解封的IP包转给后端的CVM，对于私有网络的CVM，封包格式为GRE包，对应的母机上依赖于VPC.KO来解包，从CVM上可以观察到收到的IP包的中SourceIP 段无论是四层还是七层都是真实的来源IP，其实就是在封包的时候，将真实的客户端IP封装到了IPIP包或者GRE包中，从而满足用户获取真实来源IP的诉求。

3 五大关键功能

3.1 强大过载保护功能，保证数据整体安全

当前集群本身的性能在未引入DPDK版本之前 ，单机的可以达到160万PPS，连接数1.2个亿，入带宽可以到达10Gbps，当真实数据超过最大能力之后，为了不发生雪崩故障，集群的自我保护能力就显得极为重要，最小程度上减小对客户带来的影响。如图，内核中的管理模块tvsadm会周期的去拉取统计数据，当全局统计数据接近了警戒高水位(后台配置例如不能超过最大性能的70%)，那么此时就会开启QOS能力，给规则设定一个配额，然后根据令牌桶算法进行配额限速，将整理的数据保持在安全范围之内，直到整体数据趋于安全。

3.2 抗DDoS大规模攻击，强力保护后端安全

当有大量synflood攻击时，由于后端母机的连接池资源有限制，而且后端CVM本身的性能也不固定，所以在有大量DDoS攻击时不能直接透传给后端服务器，此时CLB会暂时代理TCP连接，知道三次握手真正完成客户端发来数据后，才与后端CVM进行真正的交互。

而CLB本身资源也是有限制的，此时就不能全部代理半连接的握手，具体方式即通过LRU淘汰机制来实现半连接队列的维护。可能有一个疑问，当有更大量的DDoS攻击来了之后，将如何应对呢？这个时候公司级抗DDoS攻击平台此时就会大显身手了，大禹系统，对DDoS攻击进行识别清洗，当过大对平台造成影响时会封堵该VIP。维护半连接队列的算法流程如下图所示：

3.3 高性能的HTTPS，提升活动运营及防攻击能力

HTTPS为什么访问比较慢为什么消耗CPU呢？因为它很重，HTTPS的重，体现在如下几方面：

1. 大量的计算。SSL的每一个字节都涉及到较为复杂的计算。

2. TLS协议的封装和解析。HTTPS所有数据都是按照TLS record格式进行封装的。所有的数据都需要经过如下步骤才能发送和读取：

3. 协议的网络交互。从TLS的握手过程可以看出，即使这个过程不需要进行任何计算，TLS的握手也需要至少1个以上的网络交互。

HTTPS在计算方面的影响，包括计算原理和计算性能的优化。总体来说，HTTPS主要有如下计算环节：a.非对称密钥交换。比如RSA, Diffie-Hellman, ECDHE.这类算法的主要作用就是根据客户端和服务端不对称的信息，经过高强度的密钥生成算法，生成对称密钥，用于加解密后续应用消息。 b.对称加解密。服务端使用密钥A对响应内容进行加密，客户端使用密钥A对该加密内容进行解密。反之亦然。c.消息一致性验证。每一段加密的内容都会附加一个MAC消息，即消息认证码。简单地说就是对内容进行的安全哈希计算。接收方需要校验MAC码。d.证书签名校验。这个阶段主要发生在客户端校验服务端证书身份时。

HTTPS协议中最消耗CPU计算资源的就是密钥交换过程中的RSA计算。也是我们优化的最主要对象。具体方式a. 算法分离。将最消耗CPU计算的过程分离出来，不使用本地CPU来计算。b.并行计算。使用SSL硬件加速卡或者空闲CPU并行计算，提升计算效率。c.异步代理。算法分离和计算的过程是异步的，不需要同步等待SSL加速计算的结果返回。

通过异步代理完成RSA的私钥计算。ssl完全握手性能由18000qps提升到了63000qps,提升了~3.5倍。节省了接入机器成本，提升了业务的活动运营及防攻击能力。

3.4 DPDK版本优化，负载均衡整体性能飞跃

DPDK全称为Date plane development kit，是一个用来进行包数据处理加速的软件库。与传统的数据包处理相比，DPDK具有以下特点：

1) 轮询：在包处理时避免中断上下文切换的开销，

2) 用户态驱动：规避不必要的内存拷贝和系统调用，便于快速迭代优化

3) 亲和性与独占：特定任务可以被指定只在某个核上工作，避免线程在不同核间频繁切换，保证更多的cache命中

4) 降低访存开销：利用内存大页HUGEPAGE降低TLB miss，利用内存多通道交错访问提高内存访问有效带宽

5) 软件调优：cache行对齐，预取数据，多元数据批量操作

经过这样的优化后负载均衡整体的性能参数有了质的飞跃，如下图

3.5 与腾讯天御合作，实现百万级黑名单功能

某公司接入腾讯云，其中一个需求是防恶意刷票，对恶意用户的请求进行屏蔽，其业务架构如图：请求从cdn节点到负载均衡后，真实的客户端IP会在HTTP协议的头部中携带，此时负载均衡从七层协议的头部中获取真实客户端IP，进而实施拦截。对于一个规则来讲，负载均衡的设置黑名单的数量级在百万级别，通过与腾讯天御系统合作，后端CVM拿到真实客户端IP后，转给天御，天御系统进行模型训练，判断ip是否是恶意请求，进而将黑名单写入负载均衡，从而实现百万级黑名单的功能。

4 总结

本文介绍了腾讯云负载均衡的高可靠、高性能的背后一些技术细节，在满足用户需求的基础上提供更加让用户满意的负载均衡是团队一直不变的信念。后续提供更多的技术细节与大家分享。

2.这些飞机维修专业主要术语和英文缩写你都知道吗？机务从业者必备

飞机维修主要专业术语

飞机维修专业作为一个特殊的专业，有许多专业术语，作为行话，每一个飞机维修专业人士有必要进行学习和理解，同时为了更好的理解以后我们平台发布的专业性文章，这些术语可以帮组我们更好的理解论文的要点。

本文参考了网络文章，有些定义与局方的稍有偏差，不过对于仅仅理解这些术语的含义而言足够了，如果工作中涉及这些术语的使用，最好查阅手册和局方的正式发文为主。

定义

1.1 适航性

是指民用航空器包括其部件及子系统整体性能和操纵特性在预期运行环境和使用限制下的安全性和物理完整性的一种品质，该品质要求航空器应始终处于保持符合其型号设计和始终处于安全运行状态。

1.2技术记录本（TLB）

用于记录飞机在运营中机组和维修人员发现的故障及维修人员的处理措施，以及所有的计划维修作业，是真实记载飞机适航状况与维修状态的证明文件。

1.3飞行记录本（FLB）

用以记录飞机飞行时间、机组成员、油液添加等与飞行安全有关的使用信息，是公司营运状态统计工作的重要文件，也是实施航线维修、定期维修工作后提供适航性放行签证的文件。

1.4客舱记录本（CLB）

用于记录飞机客舱内不影响飞行安全和飞机适航性项目（主要指一些服务性项目）的故障及排除措施，是公司改善服务工作的重要文件。

1.5单机档案

指每一具体航空器从制造出厂直到退役时的一套完整全面的技术履历，它侧重于归纳整理航空器在整个服役期间所有有意义的使用和维修方面的事实和事件，是核查所有法定技术文件在该航空器上执行情况的基本依据。

1.6年检

运人的飞机应当接受局方进行的年度适航性检查，符合CCAR121R2的要求并获得适航证签署或者其他方式的签署后才能继续投入运行

1.7维修

空器或航空器部件所进行的任何检测、修理、排故、定期检修、翻修和改装工作。

1.8航线维修

指按照航空营运人提供的工作单对航空器进行的例行检查和按照相应飞机、发动机维护手册在航线进行故障和缺陷的处理，包括按照航空营运人机型最低设备清单和外形缺损清单保留故障和缺陷。

1.9定期检修（定检）

指根据适航性资料，在航空器或者航空器部件使用达到一定时限时进行的检查和修理。定期检修适用于机体和动力装置项目，不包括翻修。

1.10一般勤务工作

是指航空器进出机场地面引导、停放、推、拖及挡轮档，拿取和堵放航空器的各种堵盖，为航空器提供电源、气源，加（放）水、加（放）油料、充气、充氧，必要的清洁和除冰、雪、霜等为保证航空器正常投入运行实施的勤务工作。

1.11检测：

指不分解航空器部件，而通过离位的试验和功能测试来确定航空器部件的可用性。

1.12修理

是指对航空器及其部件的任何损伤或者缺陷进行处理，使其偏差达到在规定的限制范围内以便继续使用的工作统称。修理是维修工作的一种。

1.13翻修

指根据适航性资料，通过对航空器或者航空器部件进行分解、清洗、检查、必要的修理和换件、重新组装和测试来恢复航空器或者航空器部件的使用寿命或者适航性状态。

1.14改装

是指在航空器及其部件交付后进行的超出其原设计状态、但未构成型号合格证及其数据单更改的任何改变，包括任何材料和零部件的替代。

1.15必检项目

指在维修工作中，如果某项工作实施不正确或使用了不适当的零部件和材料,则可能会造成工作失效、机械故障或危及飞行安全，这些项目必须由授权的人员实施检查。

1.16特殊检查

指飞机在遭受严重颠簸、重着陆、雷击、外来物损伤等特殊情况后所实施的检查工作，一般简称为特检。

1.17故障

指飞机、发动机的某一系统附件或零部件不能在其设计规范内正常工作。

1.18 保留故障（DD）

航空器在飞行后和/或维修检查中发现的故障、缺陷，因工具设备、器材短缺或停场时间不足等原因，不能在起飞前排除的故障项目，而该故障在一定飞行条件和时间内不会影响到航空器的适航性。

1.19 保留工作项目

在航空器计划维修工作中，因工具、设备、器材、工作条件等原因不能正常地完成的计划维修工作项目。

1.20 维修方案

指根据经适航部门批准或认可的航空器维修大纲或维护技术规程及航空器制造厂推荐的维修计划文件，并结合公司的具体情况编写且经适航部门批准的用于该型航空器维修工作的基本文件。

1.21 MSG-2

是由美国航空运输协会创建的维修分析逻辑方法，又称“航空公司/制造人维修大纲计划文件”，主要用于1980年以前设计、生产的航空器。MSG-2是针对维修方式的分析逻辑，其分析结果是指定各单体的定时、视情、监控等具体维修方式。

1.22 MSG-3

是由美国联邦航空局（FAA）、美国航空运输协会（ATA）、美国和欧洲的飞机/发动机制造厂家、多国的航空公司联合制定的维修决断逻辑和分析程序，又称“航空公司/制造人维修大纲制定文件”。MSG-3是针对维修工作的分析逻辑，其分析结果是为系统/分系统指定具体的维修工作。

1.23 维修审查委员会报告（MRBR）

是由制造国当局制定和批准的、针对衍生型号或新型号审定航空器的初始最低维护\检查要求，该报告包含了对航空器、在翼发动机维修方案的初始最低维护\检查要求，但并未包含对独立未装机发动机的维修方案。该报告将成为航空器运营人建立自己维修方案的一个基础，其中的要求对相同型号的航空器都是适用的

1.24维修计划文件（MPD）

是由航空器制造厂家提供的该型航空器所必须的维护信息和方案，航空器运营人可依据该方案制定适合自己机队情况的维护计划。该方案包含了所有制造厂家推荐的、满足制造国当局的持续适航要求的维修任务和计划。

1.25审定维修要求（CMR）

是在航空器设计、审定期间，作为型号合格审定运行限制而要求的定期维护\检查任务。CMR是基于一个与MRB报告（MSG分析方法）完全不同的分析过程发展的维修任务。CMR仅是一种失效发现任务，用于探测和发现潜在的、存在显著安全隐患的危险或致命的失效状况。CMR仅仅确认危险或致命的失效状况是否发生，但并不提供任何预防性维护措施，而是通过必要的修理或更换使航空器恢复到正常的适航状态。原则上不得对CMR任务规定的要求和范围进行更改。

1.26适航性限制项目（ALI）

是在型号审定过程中规定的某些结构项目（包括机体、发动机、螺旋桨）的使用限制。ALI是基于MSG分析方法发展的维修任务，ALI的更改必须由初始型号审定部门作出。

1.27工程指令（EO）

用于对航空器、发动机或零部件实施专门检查、改装更换以及修理等非例行维修工作的指令。

1.28适航指令（AD或CAD）

是航空器审定国或航空器注册国适航当局针对那些经过型号审定后，在某一民用航空器、发动机及其它机载设备上发现的很可能存在于或发生于同型号设计的其它民用航空产品中的不安全状态所制定的强制性检查要求、改正措施和使用限制。

1.29服务通告/服务信函（SB/SL）

当某一民用航空产品出现技术问题时，并且很可能存在于或发生于同型号设计的其它民用航空产品时，由该产品的设计生产厂编写的用以通知客户注意和采取纠正措施，以保证该民用产品符合技术规范要求的技术文件。

1.30主最低设备清单（MMEL）

是指局方确定在特定运行条件下可以不工作并且仍能保持可接受的安全水平的设备清单。主最低设备清单包含这些设备不工作时航空器运行的条件、限制和程序，是运营人制定各自最低设备清单的依据。

1.31最低设备清单（MEL）

是指运营人依据主最低设备清单并考虑到各航空器的构型、运行程序和条件为其运行所编制的设备清单。最低设备清单经局方批准后，允许航空器在规定条件下，所列设备不工作时继续运行。最低设备清单应当遵守相应航空器型号的主最低设备清单，或者比其更为严格。

1.32构形缺损清单（CDL）

航空器《飞行手册》的附录所开列的飞机上某些零部件的清单，在缺少这些零部件时，飞机可以飞行，但飞机气动性能可能受到影响。

1.33偏离

对于规章中明确允许偏离的条款，合格证持有人在提出恰当理由和证明能够达到同等安全水平的情况下，经局方批准，可以不遵守相应条款的规定或者遵守替代的规定、条件或者限制。

1.34豁免

对于规章中没有明确允许偏离的条款，合格证持有人在提出恰当的理由、相应的安全措施并证明这些安全措施能保证同等安全水平的情况下，经民航总局批准，可以不执行相应的规章条款，而执行民航总局在作出此项批准时所列的规定、条件或者限制。豁免是遵守规章的一种替代做法，遵守所颁发的豁免及其条件和限制，就是遵守规章。

1.35飞机维修可靠性方案

指营运人制定的对飞机、发动机及机载设备的故障或损坏前的各种有意义的变化征象（如疲劳、腐蚀、磨损等）进行分析、评估、处理和监控的方案。

1.36可靠性

产品能够在一定条件下，按要求功能运作一定时间而不出现故障的概率。

1.37工作单

指维修人员对飞机、发动机或零部件实施维修工作时所直接依据的工作指导文件。

1.38飞机使用数据

指在飞机使用和维修工作中，根据对飞机、发动机及部件寿命的要求对其寿命及状态的监控记录。

1.39飞行时间

是指航空器为准备起飞而借自身动力开始移动时起，直到飞行结束停止移动为止的时间。

1.40维修记录

指记载对航空器及其部件所做维修工作的文件。包括航空器放行记录、部件拆换记录、适航指令执行记录、服务通告和改装执行记录、目前维修状态记录以及发动机、APU和螺旋桨的履历记录等。

1.41附件挂签

用于标识未装机的按件号/序号管理的部附件处于可用或不可用状态的标牌。

1.42重复性故障

在七天内同一条故障在同一架飞机上连续出现两次或以上的称为重复性故障。

1.43间歇性故障

指重复次数3次或3次以上（一般来说每天算一次），且跨度8天或8天以上（但故障间隔不超过90天）的系统性故障；

1.44维修设施

专指飞机和部件维修场地及为开展维修作业提供支援而在维修场地上装备的其它辅助设备。

1.45可用件

指经航材检验合格的新购零部件和经过翻修、重新加工、修理、改装、试验或检验的持续可用的零部件，其中包括飞机上拆下经检查后可继续使用的零件。

1.46适航批准标签（AAC-038表）

指由中国民航总局批准的制造厂家或维修单位签发的用于证明航材适航性状态的合格证明文件。

1.47消耗件

只具有一次性使用寿命或寿命有限的器材，一般不能修理。

1.48周转件

具有价值高、航线可更换、可修复的部件，即任何经过修理、翻修后可以完全地恢复其固有性能的部件。

1.49报废件

由于实际上存在的故障或残损已不能根据经批准的标准予以再修理以便恢复使用，或出于经济考虑已不具备修理价值的航空器材。

1.50时控件

指有使用时限要求的航空器零部件，包括寿命件和定期翻修件。

1.51重要修理

是指如果不正确的实施，将可能导致对重量、平衡、结构强度、性能、动力特性、飞行特性和其他适航性因素有明显影响的修理。重要修理不是按照已经被接受的方法或者通过基本的作业就能够完成的工作。

1.52重要改装

是指没有列入航空器及其部件制造厂家的设计规范中，并且可能对重量、平衡、结构强度、性能、动力特性、飞行特性和其他适航性因素有明显影响的改装。重要改装不是按照已经被接受的方法或者通过基本的作业就能够完成的工作。

1.53一般改装

是指除重要改装以外的改装。

1.54一般修理

是指除重要修理以外的修理。

1.55航空器部件

是指除航空器机体以外的任何装于或者准备装于航空器的部件，包括整台动力装置、螺旋桨和任何正常、应急设备等。

1.56飞机和航空器

本手册中出现的“飞机”和“航空器”概念是相同的。

1.57湿租

是指按照租赁协议，承租人租赁飞机时携带出租人一名或者多名机组成员的租赁。

1.58维修基地

本公司飞机过夜停放的机场且派驻有本公司机务代表的机场统称为本公司的维修基地。

1.59维修主基地

指本公司在当地机场设立了维修分部以上机构的机场，如上海为本公司维修主基地。

1.60维修分基地

指除维修主基地以外的其它我公司飞机过夜停放且我司派驻有机务代表的航站。包括境内分基地和境外分基地。

1.61外站

指公司营运航线上，除维修基地以外的经停站。

1.62调机

飞机不论何种理由被调往指定地点的非营利性飞行。

1.63试飞

指必须通过飞行来验证航空器或其部件工作性能的飞行。

1.64特许飞行

对于尚未取得有效适航证或目前可能不符合有关适航要求但能安全飞行的航空器，经适航部门颁发特许飞行证后进行的特定用途飞行。

1.65FAA DER修理方法：

是指由美国联邦航空局（FAA）委任的工程代表批准的修理方法，但未列入型号合格证持有人的持续适航文件中。

1.66EASA DOA批准的修理方法

是指由获得欧洲航空安全局设计机构批准书的设计机构批准的修理方法，但未列入型号合格证持有人的持续适航文件中。

1.67 PMA件

指根据测绘复制的航空器持续适航文件中规定部件的替代件。此类部件是按照适航当局（CAAC、FAA）批准的零部件制造人根据批准书（PMA）制造，但未列入型号合格证/补充型号合格证持有人的持续适航文件中。

1.68持续适航性资料

1.68.1

民航总局或者航空器型号审定当局颁发的适航指令；

1.68.2

航空器制造厂家提供的各类手册、规范及其引用的国家或者行业标准；

1.68.3

航空器制造厂家发布的服务通告、服务信函；

1.68.4

民航总局颁布的有关法规文件中引用的国家和行业标准；

1.68.5

其他形式的任何经民航总局批准的修理和改装技术文件。注：任何航空器制造厂家提供的未经航空器型号审定当局批准或认可的技术支援类文件、函件等不被视为上述规定的持续适航文件，仅可作为申请民航总局批准时的辅助资料。

1.69易燃物

指闪点低于54.4℃（130 F）的任何材料。

1.70静电起火

物体与空气、液体或另一物体相摩擦，或者由于静电感应等原因均会产生静电，当静电达到一定电位差（或能量）时就会产生火花，引起易燃品爆炸和着火。

1.71所需导航性能（RNP）

指在规定空域内运行所需要的导航性能的描述。RNP-X，即表示航空器至少在95%的飞行时间内其水平飞行轨迹与期望轨迹之间的距离等于或小于“X”海里。

1.72区域导航（RNAV）

是一种导航方法，它可以使航空器在台基导航信号覆盖范围内，或在自主导航设备的能力限制内，或二者的组合，沿任意期望的飞行路径飞行。分为基本区域导航（B-RNAV）和精密区域导航（P-RNAV）

1.73航空器封存

为保证飞机在长期不使用状态中最大限度地保持其性能，而采用的隔绝空气、水气的方法。

1.74日利用率

指机队一段时间运营飞行小时（空中时间）与相应时间内飞机在用天数的比值。

1.75全新民用航空器

符合下列条件的民用航空器，被认为是全新民用航空器：

1.75.1

航空器所有权被制造厂商或专门的交易商或租机公司所拥有且使用未超过100小时/1年 （先到为准）；

1.75.2

航空器所有权未曾被私人拥有、出租或安排短暂使用；

1.75.3

航空器未曾被任何培训学校专门用作培训驾驶员或参加空中出租业务。

1.76进口全新民用航空器

指由中华人民共和国之外的主权国家制造，通过合法方式被中华人民共和国公民或机构拥有或使用，并申请（或已经）在中华人民共和国注册登记的全新民用航空器。

1.77国产全新民用航空器

指由中华人民共和国设计制造，通过合法方式被中华人民共和国公民或机构拥有或使用，并申请（或已经）在中华人民共和国注册登记的全新民用航空器。

1.78使用过的航空器

对某航空器而言，只要满足下列条件之一即为使用过的航空器：

1.78.1

航空器的所有权曾经被除制造厂或专门的租机公司之外的第三方所持有；

1.78.2

航空器曾经被私人拥有、出租或安排过短暂使用；

1.78.3

曾经专门用作培训驾驶员或参与空中出租业务；

1.78.4

航空器所有权虽然一直被制造厂或专门的租机公司所持有，但累计使用超过100飞行小时 /1日历年（先到为准）

1.79引进

指航空运营人通过合法的协议或合同等方式，获得航空器的所有权或使用权。需要特别指出的是，本文件中所述的“引进”并不单指从国外进口航空器，也包括航空器在国内所有权或使用权的转移。本文件所述的引进不包括湿租。

缩略语

AD—Airworthiness Directives适航指令

ALI—Airworthiness Limit Item适航限制项目

CAD—China Airworthiness Directives中国适航指令

AF—After Flight航后

AFM—Aircraft Flight Manual飞机飞行手册

AOG—Aircraft On Ground飞机停飞

ATA—Air Transport Association（of America）（美国）航空运输协会

CDL—Configuration Discrepancy List构形缺损清单

CLB—Cabin Log Book客舱记录本

CMM—Component Maintenance Manual部件维修手册

CMR—Certification Maintenance Requirement审定维修要求

CWS—Critical Working Step部件维修关键工序

DD—Deferred Defect故障保留

DDPG—Dispatch Deviations Procedures Guide偏差放行指南

EMM—Engine Maintenance Manual发动机维修手册

EO—Engineering Order工程指令

FLB—Flight Log Book飞行记录本

IPC—Illustrated Parts Catalog图解零件目录

LRU—Line Removable Unit航线可更换件

MAO—Maintenance Action Order维修工作指令

MEL—Minimum Equipment List最低设备放行清单

MMEL—Main Minimum Equipment List主最低设备放行清单

MM—Maintenance Manual维修手册

MP—Maintenance Program维修方案

MPD—Maintenance Planning Data维修计划文件

MPOS—Maintenance Program Operation Schedule维修方案执行计划

MRB—Maintenance Review Board维修审查委员会

OEM—Original Equipment Manufacturer原生产厂

OM—Overhaul Manual翻修手册

PF--Preflight飞行前

PMA–Parts Manufacturer Approval零部件制造人批准书

RCB–Reliability Control Board可靠性管理委员会

RII–Required Inspection Items必检项目

RNAV—AREA NAVIGATION区域导航

RNP—REQUIRED NAVIGATION PERFORMANCE所需导航性能

RSPL—Recommended Spare Parts List推荐备件清单

SB—Service Bulletin服务通告

SIL—Service Information Letters服务信息函件

SL—Service Letters服务信函

SM—Standard Manuals标准手册

SRM—Structural Repair Manual结构修理手册

STC—Supplemental Type Certificate补充型号合格证

TC—Type Certificate型号合格证

TLB—Technical Log Book技术记录本

TSN—Time Since New自新件时间

TR--Transit过站

TSOA—Technical Standard Organization Approvals技术标准规定项目批准书

TSR—Time Since Repair自修理后时间

VTC—Validation of Type Certificate型号认可证

WBD—Weight and Balance Data载重平衡数据

WDM—Wiring Diagram Manual线路图手册

点击小铅笔“✎✎✎”写评论吧~~~

↓↓↓

转载权限：保护作者版权从转载做起，作者一栏请写“航佳技术”文章底部粘贴航佳技术二维码，阅读原文粘贴航佳原文地址。

投稿事宜：航佳技术坚持以原创为特色，如果您有飞机排故经验总结，机务管理类论文，原创视频，组图，机务生涯感想等欢迎投稿，与全国民航人一起分享！

投稿邮箱：yangmh@aero-expert.com(长按复制)

3.B737CL速度配平特殊故障案例，欢迎围观！

作者：洪鸣

前几天给新员工上课讲到速度配平，突然想起了多年前一起特殊故障，觉得还是比较特别，这几天正好有空，把之前的思路整理了一下，写成总结，希望跟大家交流一下。正值广东龙浩航空批筹公示，也算是给公司打广告宣传一下，谢谢！

2010年广东冬季的某天，B-XXXX飞机完成了航前准备，有如往常，航前工作正常有序。机组照常启动双发准备执行当天的航班，双发启动后，机组按例进行发动机启动后检查工作，主警告告示牌FLT CONT警告不合时宜的显示了，抬头看去，速度配平灯亮了，机组考虑再三决定关车让放行工程师上机检查，奇怪的事发生了，发动机关车后，速度配平灯熄灭了。。。。。。工程师上机后，机组一脸无奈的表示，刚才灯真的是亮的。按照惯例，放行工程师对自动驾驶系统进行测试，这时谜一样的故障出现了，CDU显示自动驾驶CHANNEL B NO POWER！自动驾驶A系统测试正常！只是想通过FCC测试排除速度配平故障，这倒好，FCC B直接挂了！但细想一下又不对，要是CHANNEL B NO POWER，速度配平灯和马赫配平灯应该亮的、并可以通过按压主警告灯按钮cancel灭和按压告示牌recall出来（自动驾驶单通道失效警告状态）！但飞控面板上速度配平和马赫配平灯是灭的（说明自动驾驶双系统速度配平和马赫配平现在是好的）。。。。。。为保障航班，失效FCCB保留放行。

航后飞机落地，为了判断故障，更换FCCB，故障依旧！故障依旧！故障依旧！梦魇啊，不会真要测量线路吧，但FCC后面几百根线从哪里下手呢！面对疑难故障，维修工程部不是急于督促排故组，而是让排故组先冷静，放松心态。有了这层呵护及保障，排故组又信心满满重新投入排故方案的制定！

要是线路问题，那原FCCB就不是故障件咯，保不准有留下故障记录！马上把FCCB原件装到A通道，测试正常，立即查看故障记录，记录里显现当天只有一个故障，就是航前启动发动机后记录，ST FAIL ANN！不对吧！要是FCCB NO POWER，怎么能记录故障？

经过讨论，所见即所排，先从供电这块开始隔离吧。参考SSM22-10-01，对FCC B计算机所有交直流供电线路进行测量，全部正常！换个人再测，还是正常！跟之前FCCB航前其实正在正常工作的猜测是一致的！排故陷入了僵局。供电线路正常，但就是进不了FCC CHANNEL B 测试。。。。。。。就在这时脑海中隐隐约约的记得很久以前看过的AV training manual，有个画面，如下图

通过培训材料内容理解，在上述条件任意一个发生，CDU就会显示DFCS BITE INOP，无法进行DFCS测试，目标好像很接近了，但现在CDU显示的是CHANNEL B NO POWER，会有关系吗？

既然供电线路是好的，故障侧的计算机也记录下故障，说明可能是一个真实的故障，而且造成了2个故障现象，那就开始找共同点！翻开培训手册，查找速度配平警告条件，如下图：

跟之前要进入FCC测试的条件一比对，空地信号是共有的，难道是它？（有同学可能要问为什么马赫配平或其他自动驾驶功能没问题，请自行查阅培训手册）；立即进行测量，发现FCCB插头D1655A 42号钉无电压，参考WDM22-11-61，发现W069的SM615（5线splice）由于施工不当，造成其中的W069-028-20线缆烧蚀脱开，终于找到原因了！

针对不能进入FCCB测试：FCC B在地面一直是在空中状态，无法进入测试，而 A系统是在地面状态，A系统自测状态正常，这个构型跟前面谈到的无法进入测试的构型不同（看第二张逻辑图），故不显示DFCS BITE INOP，BITE程序系统判断FCCB无响应，为CHANNEL B NO POWER。

对于速度配平故障：在整机通电的情况下，速配配平无需接通自动驾驶就能自行工作及自测，发动机未启动时，“空地信号是否有效探测逻辑”不工作，且故障警告的其他条件未达到，因此速度配平未报警。当发动机启动时，“空地信号是否有效探测逻辑”投入工作并发现异常，点亮速度配平警告灯！最终出现了速度配平故障警告在发动机启动后点亮、而关车后又正常这种情况。

对于上面提到的线路施工不正确造成线路问题进而导致特殊故障，犹如之前在航佳投稿的一篇关于DFDAU特殊故障文章一样！再次希望刚刚接触飞机维修工作的年轻同志，一定要打好基础，把标准施工做好（不仅仅线路施工）。有句老话：“飞机大部分是修坏的，不是飞坏的”，并非玩笑，希望大家能理解其中含义。

我叫洪鸣，民航广州技术学院毕业，现就职于广东龙浩航空有限公司维修工程部，上面是本人对该故障的片面理解，有不对之处，请大家告知航佳或联系我本人，一定悉心学习，请不要像上篇文章某位留言的师傅一样，只留下：“踏马的，简单的读线，接触不良，被你这逼写得这么高大上”就联系不上了，我都不知如何求教和探讨。谢谢！

还没看个够，那就赶快添加航佳技术微信号：AERO-EXPERT。修飞机，开飞机，坐飞机，民航人，民航事，一切民航资讯应有尽有。

4.腾讯网关 TGW 基础原理入门

作者：厉辉，腾讯后台研发高级工程师，当前在腾讯游戏后台团队工作，熟悉四七层负载均衡以及 API 网关等技术领域，同时也是 CNCF Ambassador 以及 Apache APISIX PMC。

本文是在组内技术分享的发言稿，主要介绍 TGW 基本原理和架构，同时为了加深理解，会辅助对比 TGW 与 LVS（ipvs）的异同。本次分享是偏基础性的 TGW 介绍，不会特别深入技术细节，目的是帮助需要用到 TGW 的同事快速的了解 TGW。

零、引言

TGW，全称 Tencent Gateway，是一套实现多网统一接入，支持自动负载均衡的系统。TGW 具有可靠性高，扩展性强，性能高，抗流量攻击能力强等特点，其主要提供 IP 收敛、多线接入和负载均衡的功能。

一、概况介绍

1. 诞生背景

不同运营商用户间无法互通。在十几年前，中国的网络运营商主要有电信和联通两大运营商，又戏称南电信北网通，电信和网通分别布设了光缆，同一个运营商内相互联通，但运营商与运营商间互通需要经过专门的网络通道，一个是带宽有限，另一个是互通通道主要布置在骨干网，所以，在南方地区用电信的客户去访问网通的网站或者游戏，访问路径会变长，带宽受限，访问延迟高，反之也一样。就比如 DNF 的区服就分为了电信服和网通服。

分服的方式可以让同一个运营商的玩家以较低的时延游玩游戏，但当一个南方电信玩家想跟北方网通玩家一起联机的时候，就会体验很差。后来，以游戏为代表的业务多线接入的需求越来越强烈，但是公司缺乏一种通用的解决方案。

思考：站在业务或者产品侧角度，为什么要用双线/多线服？抛开其他因素，双线区的游玩体验更好，游戏收入比单独的电信区/网通区高。

公网 IPv4 地址不足。全球公网 IPV4 地址早在 2011 年就已经分配完毕，IP 地址不足制约着部分重点业务的发展。

2. 多通接入

传统的网络方案，机房和网络类型是绑定的，即一台普通的服务器只能单独接入电信或者联通网络。由于用户跨运营商访问的速度非常慢，通常，游戏业务会为每个运营商均部署一套服务，但这样的方式也有两个问题：一是不同网络的用户互动麻烦，二是网络环境复杂，运维部署困难。（当然还有多线服务器解决方案，但需要是专门的多线机房/多线服务器，服务器成本也高）。

使用 TGW 的多线接入方案后，电信/联通/移动的玩家可以分别就近访问电信/联通/移动的网络访问至腾讯与各个运营商的入口外网 IP，经过 TGW 转发后，通过腾讯自建的内网专线，快速的连接至游戏服务器中（类似于网络游戏加速器的机制），缩短了网络路径。该方案的主要优势是，业务可以透明接入，服务器部署也灵活方便。

公司内首先试用多通接入的游戏业务有轩辕传奇、御龙在天和斗战神。

本质：不同运营商的用户，通过就近接入（域名就近解析或者 IP 就近接入 anycast），访问较近的对应运营商的腾讯外网入口，再通过腾讯内网专线访问对应服务器。

3. IP 收敛

从 2011 年下半年开始，腾讯开放平台开始对外推广（腾讯 QQ 空间页游业务大爆发，比如 QQ 农场/抢车位等等），众多第三方应用开始接入腾讯开放平台。按照当时的网络架构，每个开发商需要几十个到上百个的外网 IP，而合作专区的外网 IP 资源有限，很快就用完了。开发商申请不到外网 IP，制约了腾讯开放平台的进一步发展。经过分析发现，开放平台以小长尾应用居多，其中 90%以上的应用是网页游戏，网页游戏又以分区分服为主，一个游戏少则几十个区，多则数百个区，例如游戏蜀山传奇开了将近 800 个区，意味着需要消耗 800 个外网 IP。

针对于这个问题，解决方案是让网页游戏接入四七层负载均衡（也就是 TGW），不同的区服使用同一个 IP 加不同的端口，多个业务可以复用外网 IP，以节省外网 IP 资源。

本质：不同的服务器，利用 TGW 端口转换功能，使用相同的外网 IP+不同的端口对外提供服务，复用外网 IP。

4. 负载均衡

当然，TGW 最主要的功能还是负载均衡，业务接入负载均衡后，便可以集群化，横向扩展，同时兼具一定的高可用和高性能。常用的四层负载均衡算法为带权重的最小连接数 WLC（Weighted Least Connection）和加权轮询（Weighted Round Robin）。

本质：负载均衡

5. TGW 与 IPVS/LVS 异同

简要介绍完 TGW 的基本功能，这里再与业界常用的四层负载均衡器 LVS 进行对比

1. 基本功能：TGW 作为有专业团队维护的产品，其功能肯定远比 LVS 丰富，其中 TGW 还支持全局 IP 限速限流；其 RS 均支持获取客户端 IP
2. 转发模式：TGW 主要是 IP 隧道模式，LVS 考虑到泛用性，支持四种转发模式；TGW 入流量出流量均经过 TGW 转发，而 LVS，入流量经过 LVS 到后端服务器 RS，出流量直接从 RS 发到客户端；
3. 性能：TGW 基于 DPDK，其性能可达亿级长连接，千万级 pps；而 LVS 基于内核模块，性能百万级连接，接近百万级 pps；
4. 高可用：TGW 是集群高可用，LVS 是 HA 高可用；TGW 只同步长连接，LVS 则长短连接均同步；
5. 其他：LVS 当前也是 kubernetes services ipvs 解决方案的核心转发组件，当前未来的趋势是使用 Cillium

6. 提问：TGW 和 CLB 有什么区别？

TGW，Tencent GateWay， 是负载均衡 （Load Balancer，LB）， 在公司内部习惯叫 TGW 了，其主要提供 4 层负载均衡、外网接入、多线接入等功能；若需要接入 HTTPS 或者七层负载均衡或者 QUIC/HTTP3 协议，则可以使用 STGW 替代接入（TGW+nginx+加解密）

CLB，负载均衡（Cloud Load Balancer，CLB），是腾讯云产品化的名称，CLB 4 层就对应自研的 TGW， CLB 7 层对应自研的 STGW

二、架构原理

0. TGW 相关技术总览

我这里对 TGW 的技术进行了一个整体的梳理，整体如下图的思维导图。这里分别从业务特点以及技术难点要点角度来看

首先看 TGW 的业务特点。TGW 作为腾讯公网接入的桥头堡，它会有大量的用户访问，需要支持更高的连接数和报文转发能力（pps），会有大量公司内和公司外（腾讯云客户）的业务接入，故需要承载大量的业务规则、外网 VIP、路由。

故 TGW 最关注性能和稳定性，即性能 + 稳定性 >> 功能丰富度；但随着平台的迭代演进，随着性能和可靠性的提升，如何在兼顾性能和可靠性的前提下，不断给 TGW 新增新的功能，保障其可扩展性和可维护性，也会有很多技术挑战。

本章节介绍 TGW 请求转发和负载均衡流程以及 TGW 如何实现高可用。（TGW 高性能的一些实践，由于本人这方面了解不深，故不作介绍）

下一步会介绍 TGW 的整体架构。

1. TGW 整体架构

网络转发，一般会将整体架构其分为管控平面和转发平面。管控平面负责管理控制，转发平面就是转发数据报文。TGW 的管控平面中最重要的便是规则，比如路由规则、限流规则、黑白名单规则，那么管控平面的主要职责便是控制规则，包括创建查询删除修改规则，如何高性能的将规则下发至转发平面，如何保证规则的一致性，对规则进行监控、拨测和告警等等；TGW 的转发平面主要是与路由器和交换机打交道，控制收到的报文如何处理，比如转发、负载均衡、协议转换、限流、黑白名单等。

2. 基本转发原理

转发模式

业界开源的 LVS 负载均衡器的转发模式有四种：NAT 模式（源地址替换）、IP 隧道模式（封装一层 IP 头，IPIP 协议或 GRE 协议）、DR 模式（替换 MAC 地址，负载均衡器 LD 和服务器 RS 均需在同一局域网内，通过 MAC 地址路由访问）、FULLNAT 模式（源/目标地址替换）。不同的转发模式各有优缺点，这里不作过多展开。

TGW 的转发模式是 IP 隧道模式（也是业界最常见的模式），其主要优势是不依赖底层网络结构（相较于 DR 和 NAT 模式），可以同一网络平面通信也可以跨 VPC 网络通信（依赖于 VPC Gateway），另一方面，后端服务器 RS 也可以获取到客户端原始 IP 信息（NAT 模式无法获取）。

上图是 TGW IP 隧道（IPIP 协议）的整体转发流程，其中 CIP:CPORT 是客户端发起访问的 IP 和端口，VIP:VPORT 是业务对外提供服务的外网 IP 和端口，RSIP:RSPORT 是后端服务的内网 IP 和端口，TGWIP 是 TGW 内网的 IP。客户端到 TGW 之间是普通的网络报文，TGW 到后端服务之间是隧道报文（IPIP 或者 GRE）

消息处理流程

上图是 TGW 的消息处理流程。具体如下：

1. 转发的核心对象和概念。TGW 负载均衡的核心对象是 VIP 规则，VIP+VPORT 便是路由规则的主键，后端可以挂载多个服务器 RS，用于负载均衡；TGW 中有两个关键的查询表，规则表用于保存 VIP 规则，通过控制台/接口进行配置下发，对转发平面来讲是静态配置，连接表保存负载均衡调度结果，是在新建连接时动态创建。
2. 整体报文转发流程如上图，当一个请求到达时，解析报文后，查询连接表，如果是首包（未命中连接表），则查询规则表，进行调度和创建连接表，并转发报文，如果命中路由表，则根据已有的连接表信息转发报文。

抓包

再通过抓包，直观理解报文处理流程，如下图：

1. 第一部分是 TCP 建链的首包 SYNC 和回包 ACK 包，第一和第四行对应客户端与 TGW 间的 SYNC 和 ACK 包，第二和第三行对应 TGW 与后端服务间的 GRE 的 SYNC 和 ACK 包。
2. 第二部分对应第一行的 SYNC 包，可以看到它的源 IP：源 Port 是 203.195.x.x：53101，目的 IP：目的 Port 是 45.40.x.x:80，即原始地址。
3. 第三部分对应第二行的 SYNC 包，可以看到这个是一个 GRE 包，内层与原包基本类似（目标 Port 被修改，映射成 RS 的服务端口），中间的 GRE 包头，外层 IP 地址则是 TGW 和后端服务所在的母机（因为是 GRE 包，RS 在 VPC 网络中，TGW 会将报文转发到 RS 的母机）内网地址（9.171.x.x 和 10.112.x.x）。
4. TGW 将该请求转发到后端母机后，母机会将该 GRE 包头去掉，然后将内层报文转发到 RS。

考虑到信息安全，将外网 IP 地址部分打码

负载均衡转发流图

TGW 当前提供的负载均衡功能支持外网负载均衡、内网负载均衡、以及 VPC 内网负载均衡，下图是提供的三种负载均衡转发格式图：

1. 如图所示，外网负载均衡，客户端与 TGW 之间是 IP 包，后端 RS 若是物理机（Underlay 网络），则使用 IPIP 包，后端 RS 若是虚拟机或容器（Overlay 网络），则使用 GRE 包，若业务服务需要申请外网 IP 对外提供服务，便是该场景；VPC 内网负载均衡，调用者/客户端与 TGW 之间是 GRE 报文，TGW 与后端 RS 是 GRE 报文，通常使用场景是云上的虚拟机/内网服务 A 通过云上内网负载均衡访问另一个内网服务 B，对应云上的内网负载均衡。
2. 访问后端是物理机，TGW 需要侵入式的在机器上配置 IPIP 解报文配置，对使用者来说，是侵入式的；如果后端是虚拟机，则是在母机中进行解包 GRE 报文操作，对于虚拟机/容器用户来讲是透明的。
3. PS：内网负载均衡已经不建议使用，若需要内网负载均衡/内网集群化，建议选用服务发现方案，比如腾讯的北极星 Polaris，开源的 Zuul、Consul、Etcd 等

3. TGW 高可用

TGW 高可用整体方案

大家都知道，业务会通过四层七层负载均衡，让业务集群化提供高可用的服务，TGW 也是如此，TGW 是利用交换机的集群化功能，通过 OSPF 路由发布协议和 ECMP 功能，让 TGW 集群化的提供集群化的四层流量接入功能。其整体架构图如下：

TGW 的集群化架构纵览：

• 核心路由器和接入交换机。两个核心交换机同时提供服务，两个接入交换机同时提供服务；核心路由器与接入交换机两两互联，核心路由器与其下联接入交换机相连，同时与对端核心和下联接入交换机相连；接入交换机与下联服务器（也就是 TGW LD）相连，与对端接入交换机相连；
• TGW 集群。一个 TGW 集群由 4/8/16 台机器，每个 LD 均配置相同的 VIP、路由转发规则，同时提供服务；TGW LD 外、内网分别与外网接入交换机 TGW-W、内网接入交换机 TGW-L 相连
• OSPF 路由发布和 ECMP 负载均衡。OSPF：开放最短路径优先协议，支持多路路由；TGW 内、外网上联交换机内、外网核心路由器在同一个 OSPF 域中，实现交换机、核心路由的流量负载均衡；TGW 内、外网上联交换机和 TGW LD 内、外网在同一个 OSPF 域中，实现交换机、TGW LD 的流量负载均衡。

思考：多个节点怎么接入流量、且分配均匀？解决方案：交换机配置 ECMP 如果节点故障怎么让交换机知道？解决方案：OSPF 路由发布 如何探测和发现节点故障？解决方案：状态监控、自动剔除 如果节点故障上联交换机重新分配流量，怎么保证连接不中断？解决方案：连接同步

高可用分析

对网络层和 TGW 集群进行高可用分析：

网络层容灾：

• 两台外网核心路由器同时服务，容量冗余。在任意一台核心故障的情况下，余下一台核心路由器能完全接管所有流量。内网亦然。
• 两台外网接入交换机同时提供服务，容量冗余。任意一台外网接入交换机故障的情况下，余下一台外网接入交换机能完全接管集群所有流量。内网亦然。

TGW 集群容灾：

• 集群 50% LD 故障，剩余 LD 能够接管所有流量；
• LD 故障时，OSPF 路由自动收敛，将故障 LD 剔除（如果是 LD 故障的话），上联交换机重新分配流量，分配到剩余的 LD，为确保连接不中断，需要进行连接同步。连接同步是以单播的方式进行同步。

连接同步

连接同步怎么做？有什么问题？又如何解决？又有其他什么挑战？

开源负载均衡 LVS 的连接同步是长短连接均同步，但这样的做法会影响负载均衡处理新建连接的性能。让我们设想一下，一个 TGW 集群 N 个节点（LD），不做连接同步，新建能力是 X，如果 TGW 集群没新建一个连接就立即同步该连接的话，做了连接同步后，极端情况下，新建能力下降为 X/N。另一方面，由于 TGW 支持的连接数达千万亿级，当新建连接数过多时，不论是新建连接的同步还是存量连接的同步，需要同步的数据量都会非常大。

针对于这两个问题的解决方案：

1. 仅同步长连接。TCP 连接分为长连接和短连接，短连接生命周期很短，并不需要同步，故 TGW 仅对连接存在时间超过 3 秒进行同步，3 秒是一个经验值。
2. 定期、长周期全量同步时间。第一次同步后，4 分钟同步一次，新加入节点先进入就绪状态只接收同步连接，等 5 分钟后，等待完整一个周期后（超过 4 分钟即可），确保所有连接均同步完成后，上线引流；
3. 异步批量发送。连接同步不要求实时性，3 秒同步和 3.2 秒同步其实差异并不大，故可先放入队列缓存，合并成一个报文（MTU 大小）。

同时又有另一个问题，即 LD 间连接的一致性如何保障，但这里就不作过多展开，有兴趣的可以自行了解

（业务常用的一致性手段，2PC、3PC、Paxos、Raft）

防 SYNC DDos 攻击

LVS 如何处理超时连接？又有什么问题？TGW 是怎么做的？又有什么优势？

较早版本的 LVS 连接处理流程如上图的第一张图，其收到新建连接的 SYNC 包后，会创建新的连接，然后交由 timer 处理过期连接，该方案并不能及时的释放无效半连接，故 LVS 并不具有有效防 SYNC DDOS 攻击的能力，当 SYNC 包一旦占满的连接表，便无法新建连接。

关键点：如何确保在连接满之前一定能申请到连接？如何高效的释放无效 SYNC 包？

TGW 的做法是基于原有 LVS 的方案进行改进，使用 LRU 替换原有半连接表：

1. 创建新连接时，若因为半连接表满，导致新建连接失败，由于最老的半连接几乎是不会进行后续建链（业务特点），故直接释放 LRU 链尾节点，使用这段内存用于新建连接；
2. 新建连接后，设置超时 timer，并将该连接加入 LRU 头

该方案的优势主要有两点：

1. 淘汰无效 SYNC 连接的时间复杂度为 O(1)，直接删除 LRU 链尾节点即可
2. 新连接在连接表满之前，总是能够申请到新建连接所需的内存

FAQ

1. 为什么 RS 回包要经过 TGW？

• RS 没有外网 IP（外网网卡 IP）
• RS 回包有两种选择，经过 TGW 或者 NAT，本质上最少要经过一跳转发，直接回包并不能缩短网络路径；
• TGW 网络路径转发性能好、带宽大、资源足；NAT（云下 NAT）转发能力和性能差，云上 NAT 则还需要额外占用外网 IP，若共用则可能出现端口冲突、TIME_WAIT 等问题。

2. 为什么是 IP 隧道模式，而不是 DR/NAT 等其他模式？

• IP 隧道模式是通过给客户端报文加壳（IPIP 包头/GRE 包头）通用性强，不依赖底层网络结构，更适合当前虚拟化/多 VPC 网络环境
• DR 模式是通过修改报文的源 MAC 和目的 MAC 地址实现的报文转发和负载均衡，负载均衡器和 RS 需要在同一个广播域，同时 RS 需要能够访问外网（比如要有外网 IP 地址）
• NAT 模式是通过修改报文的 IP 地址（又分为 SNAT 和 FULLNAT），会导致业务方无法获取到客户端真实 IP。

3. 高性能网络框架的变化

1. epoll 多路复用（比如 nginx），瓶颈，几十万级 pps 时，用户态和内核态上下文切换，其未来发展有三个方向
2. 方向一：LVS，基于 Netfilter/BPF（其他工具还有 iptables、tcpdump 等），转发逻辑在内核态，绕过用户态和内核态上下文切换；TGW DPDK 版本，基于 DPDK，直接从网卡取包，CPU 作转发逻辑，缩短报文处理路径；再进一步优化便是将报文处理逻辑下沉，比如智能网卡或者 P4；
3. 方向二：eBPF，新的 VM 设计，比 cBPF/Netfilter 性能提升 20 倍以上，充分利用 CPU 寄存器，落地产品比如 Cillium；
4. 方向三：epoll 的未来，io_uring。

4. CAP 三网合一的 IP 原理是怎么样？其价格与普通的三网外网 ip 有什么异同呢？

• 背景：中小运营商宽带用户跨网访问体验差
• 基本概念：腾讯 CAP（Content Accelerate Platform：内容加速平台），CAP IP 与中小运营商对等互联
• 为什么贵？CAP IP 必须具备电信与联通的 BGP 路由与带宽；电信与联通的用户庞大，两大运营商网络覆盖在中国市场各具有一定的垄断性，BGP 带宽资源价格昂贵；最初引入的电信与联通 BGP 带宽仅用于解决极少错配用户的互通问题，不可非合理使用

5. IPIP 协议和 GRE 协议基本概念和异同

• IP 隧道技术：是路由器把一种网络层协议封装到另一个协议中以跨过网络传送到另一个路由器的处理过程。隧道技术是一种数据包封装技术，它是将原始 IP 包（其报头包含原始发送者和最终目的地）封装在另一个数据包（称为封装的 IP 包）的数据净荷中进行传输。
• IPIP 即 IP in IP，一种 IP 隧道（IP Tunnel）协定，将一个 IP 封包，封装进另一个 IP 封包中。为了封装 IP 封包，在来源 IP 上要再加上一个外部的标头，隧道的进入点，目的位置，以及隧道离开的位置。这个技术使用于虚拟私人网络（VPN）上，RFC 2003 说明了这个协定的内容。
• GRE 也类似，即 IP in GRE

名词介绍

OSPF 协议：一种动态路由协议，当前主要用于 tgw 的容灾功能上。

ECMP：等价多路由

IP 隧道技术：是路由器把一种网络层协议封装到另一个协议中以跨过网络传送到另一个路由器的处理过程。隧道技术是一种数据包封装技术，它是将原始 IP 包（其报头包含原始发送者和最终目的地）封装在另一个数据包（称为封装的 IP 包）的数据净荷中进行传输。

IPIP：即 IP in IP，一种 IP 隧道（IP Tunnel）协定，将一个 IP 封包，封装进另一个 IP 封包中。为了封装 IP 封包，在来源 IP 上要再加上一个外部的标头，隧道的进入点，目的位置，以及隧道离开的位置。这个技术使用于虚拟私人网络（VPN）上，RFC 2003 说明了这个协定的内容。

WC：IDC 机房的外网核心设备 WC

XGWW：连接 TGW 服务器和 NFV 服务器的 TOR，XGWL 为内网，XGWW 为外网

DPDK：旁路网卡 IO，绕过内核直接在用户态收发包来解决内核的瓶颈。

pps：一种单位，表示每秒报文数。

VIP：虚拟服务地址（virtual IP，VIP）

RS：后端服务器（Real Server，RS）

HA：High Available（高可用）; 或者指 HA 高可用，即多节点运行，仅有一台提供服务（相较于集群化高可用）

LD：Load Dispatcher，转发物理单元

LVS：Linux Virtual Server/IPVS

VPC：私有网络（Virtual Private Cloud，VPC）

SNAT：（Source Network Address Translation，源网络地址转换）

DNAT：（Destination Network Address Translation，目的网络地址转换）

TGW，全称 Tencent Gateway，是一个可实现多通（电信，联通，移动，CAP）统一接入的负载均衡解决方案。四层负载均衡-TGW

CLB：腾讯云负载均衡（Cloud Load Balancer，CLB）提供安全快捷的流量分发服务，访问流量经由 CLB 可以自动分配到云中的多台云服务器上，扩展系统的服务能力并消除单点故障。

CAP：Content Acceleration Platform ，内容加速平台；使用腾讯自有地址 ，内容加速平台；对等接入中小运营商 （如天威 、长宽移动 )，已逐渐融入 TIX。

WRR：加权轮询调度（Weighted Round-Robin Scheduling）

WLC：加权最小连接调度（Weighted Least-Connection Scheduling）

厉辉，当前在腾讯游戏后台团队工作，熟悉四七层负载均衡以及 API 网关等技术领域，同时也是 CNCF Ambassador 以及 Apache APISIX PMC。

作者:厉辉

来源:微信公众号:腾讯技术工程

出处:https://mp.weixin.qq.com/s?__biz=MjM5ODYwMjI2MA==&mid=2649770128&idx=1&sn=61c3de07ea8b52c6c9fd6f2c09622370