Skip to content

基于Tailscale与自建DERP中继的私有跨境虚拟局域网搭建:零配置内网穿透与跨国通信加密实战

约 14005 字大约 47 分钟

科学上网网络技术翻墙教程Headscale私有部署

...

2026-11-09

Tailscale 官方 DERP 中继在跨境场景下经常把流量绕到东京、新加坡甚至美西,晚高峰延迟飙到 300ms 以上,打洞失败时 SSH 卡成幻灯片。本文不讲概念,直接给一套可落地的方案:在境外 VPS 上自建 DERP 节点,用 sing-box 做 UDP 转发,配合 iptables 放行 3478/udp 与 443/tcp,把中继路径压到 60ms 以内。文中包含完整的 derper 编译参数、TLS 证书申请、ACL 策略配置,以及用 mtr、tcping、tcpdump 定位打洞失败的真实排查过程。还会给出 sysctl 内核调优参数和 Clash YAML 分流规则,解决 DERP 流量与代理规则冲突的坑。适合已有 Tailscale 基础、被跨境中继质量折磨过的运维和开发。

1.1 先搞清楚 Tailscale 到底在哪一层干活

大量教程把 Tailscale 讲成“零配置 VPN”,这句话对了一半,坑也埋在这一半里。要理解跨境场景下为什么你的连接会莫名绕到东京再绕回香港,得先把它的四层结构拆开看。

控制平面:客户端启动后第一件事是连 controlplane.tailscale.com(或你自建的 Headscale),拉取三样东西:本 tailnet 的 peer 列表、每个 peer 的节点公钥、当前生效的 DERP 地图。这一步走 HTTPS,跟数据面完全无关。控制平面挂了,已建立的连接不受影响,但新 peer 无法加入、DERP 地图无法刷新。

密钥交换:WireGuard 的 Noise IK 握手,每个节点一对 Curve25519 密钥。Tailscale 在标准 WireGuard 之上加了一层 disco 协议处理 NAT 穿透和路径选择,握手报文里携带候选端点列表。

NAT 穿透:STUN 探测本地公网映射,配合生日悖论式的并发打洞。这一步决定你能不能直连。

中继回退:打洞失败才走 DERP。DERP 是 TLS/WebSocket 承载的加密中继,内层依然是端到端 WireGuard,中继服务器看不到 payload。

跨境场景的真相在这里:中国大陆家宽到海外 VPS,UDP 打洞成功率取决于双方 NAT 类型。电信/联通多数家宽是 Full Cone 或 Restricted Cone,打洞成功率高;移动 4G/5G 和部分企业网是 Symmetric NAT 或 CGNAT,打洞基本没戏,必然回退 DERP。而官方 DERP 节点分布决定了你回退后的实际体验。

1.2 用 netcheck 把本地网络底裤扒干净

别急着装 DERP,先跑这条命令,输出信息量极大:

tailscale netcheck -v

典型跨境家宽输出(节选关键字段):

* UDP: true
* IPv4: yes, 203.0.113.45:41641
* MappingVariesByDestIP: false
* PortMapping:
    * NAT-PMP: true
    * UPnP: true
* Nearest DERP: Hong Kong
* DERP latency:
    - hkg: 42.3ms  (Hong Kong)
    - tok: 78.1ms  (Tokyo)
    - sin: 95.6ms  (Singapore)
    - lax: 168.2ms (Los Angeles)

三个字段决定命运:

  • UDP: true:本地能发 UDP,这是打洞的前提。企业防火墙封 UDP 时这里是 false,直接判死刑,只能 DERP。
  • MappingVariesByDestIP: false:这是判断 NAT 类型的核心。false 表示映射不随目标 IP 变化,属于 Cone NAT,打洞有戏;true 表示 Symmetric NAT,同一内网端口对不同目标映射成不同公网端口,打洞成功率骤降。
  • PortMapping:NAT-PMP/UPnP 可用意味着路由器能自动开端口,直连概率再上一个台阶。

4G/CGNAT 环境典型输出:

* UDP: true
* MappingVariesByDestIP: true
* PortMapping:

MappingVariesByDestIP: true 且无 PortMapping,这种组合下你跟海外 peer 直连的概率低于 10%,老老实实准备 DERP。

1.3 验证当前到底走直连还是中继

tailscale status 的文本输出不够精确,用 ping 子命令看路径:

tailscale ping 100.64.0.7

直连成功时输出:

pong from peer-a (100.64.0.7) via 198.51.100.23:41641 in 38ms

走 DERP 时输出:

pong from peer-a (100.64.0.7) via DERP(hkg) in 61ms

via DERP(hkg) 就是回退标志。想强制观察打洞过程:

tailscale ping --until-direct=false 100.64.0.7

这个参数让客户端持续尝试直连并打印每次尝试结果,能看清打洞在第几轮失败。跨境场景常见现象:前几包走 DERP,几十秒后打洞成功切直连,tailscale status 里 peer 状态从 relay "hkg" 变成 direct 198.51.100.23:41641。

数据面字节计数在 WireGuard 接口上:

wg show tailscale0
peer: <pubkey>
  endpoint: 198.51.100.23:41641
  latest handshake: 1 minute, 12 seconds ago
  transfer: 4.21 MiB received, 1.87 MiB sent

endpoint 显示的是实际对端地址。如果这里显示的是 DERP 服务器 IP 加 443 端口,说明当前所有流量都在中继上跑。

1.4 官方 DERP 跨境实测:数据比教程可信

拿三网家宽实测到官方三个亚太 DERP 的延迟,tailscale netcheck 采样配合 mtr 佐证。测试时间晚高峰 21:00-22:00,各 100 包:

线路derp5 (HK) 延迟/丢包derp9 (TYO) 延迟/丢包derp12 (SIN) 延迟/丢包
电信 500M 家宽48ms / 0.3%82ms / 1.1%103ms / 2.4%
联通 300M 家宽55ms / 0.8%79ms / 0.6%98ms / 1.8%
移动 1000M 家宽71ms / 3.2%94ms / 2.7%112ms / 4.1%

移动线路到香港丢包 3.2% 已经影响可用性,DERP 走 TCP/TLS,丢包会触发 TCP 重传,实际吞吐远低于理论值。用 mtr 定位丢包发生在哪一跳:

mtr -rwzbc 100 derp5.tailscale.com

典型输出里能看出跨境段(电信 202.97 出口、移动 223.120 出口)的丢包集中点。这些数据说明一件事:官方 DERP 能用,但晚高峰的抖动和丢包让跨境 SSH、RDP 体验断崖式下降。自建 DERP 的价值就在把中继点挪到离你更近、线路更干净的骨干节点上。

1.5 控制平面自建的边界:Headscale 能替什么、替不了什么

Headscale 是社区实现的协调服务器,能替代 controlplane.tailscale.com 的核心功能:节点注册、密钥分发、ACL 下发、DERP 地图注入。跨境场景下把控制平面放在香港或日本,能显著降低客户端启动时的注册延迟。

功能缺口必须说清楚:

  • MagicDNS:Headscale 支持基础版本,但跨 tailnet 的 DNS 解析和 Taildrop 文件传输不完整。
  • ACL 语法:Headscale 实现了 HuJSON 策略的绝大部分,但 autogroup:internet 的 Exit Node 授权粒度不如官方精细。
  • DERP 地图热加载:Headscale 的 derp.yaml 修改后需要 headscale derp reload,客户端不会立即感知,得等下一次地图刷新周期。

控制平面放哪里的取舍:放香港,大陆客户端注册快,但 Headscale 本身暴露公网需要 TLS 和鉴权加固;放日本,延迟略高但线路更稳;放美西,注册延迟 150ms+,客户端启动体验差。我的建议是控制平面和 DERP 分离部署,控制平面放香港轻量 VPS(1C1G 足够),DERP 放线路更好的节点。

1.6 DERP 地图长什么样

注入自建 DERP 之前,先看清官方地图结构:

tailscale debug derp-map | jq '.Regions | keys'

输出:

[
  1,
  2,
  3,
  4,
  5,
  6,
  7,
  8,
  9,
  10,
  11,
  12,
  13,
  14,
  15,
  16,
  17,
  18,
  19,
  20,
  21,
  22,
  23,
  24,
  25
]

每个 Region 包含若干 Node,Node 里有 HostName、DERPPort、STUNPort、IPv4。自建节点的 RegionID 必须 ≥ 900,避开官方保留段,否则客户端会把你的节点和官方节点合并,出现部分 peer 走错中继的诡异现象。这个坑在第三章展开,这里先记住结论。

1.7 本章的落地判断

跨境私有组网的第一性原理:能直连绝不用中继,要用中继就把中继点放在离双方都近的骨干节点。Tailscale 的默认行为是优先打洞,但大陆到海外的打洞成功率受 NAT 类型和运营商策略制约,4G/CGNAT 环境下基本必然回退 DERP。官方 DERP 在晚高峰的丢包和抖动足以让交互式应用不可用,自建 DERP 是刚需,不是优化项。

下一章拆 DERP 协议本身和自建节点的选型、部署、调优,把 derper 的启动参数、证书方案、并发瓶颈一个个说透。

二、核心机理深度拆解与通信全流程抓包分析

这一章不准备复述官方文档里那几张漂亮的架构图。真正决定你跨境组网成败的,是控制平面怎么下发节点表、WireGuard 握手包怎么在 NAT 设备上撞运气、以及打洞失败后 DERP 回退的那几百毫秒里到底发生了什么。下面按一次真实连接的生命周期,从控制平面拉到数据平面,配合抓包和命令输出逐段拆。

2.1 控制平面:节点表从哪来,长什么样

Tailscale 客户端启动后第一件事是向 controlplane.tailscale.com 建立一条 HTTP/2 长连接(/machine/.../map 端点),这条连接本质上是一个长轮询的 map 流。服务端把整个 tailnet 的节点信息、DERP 地图、ACL 策略、DNS 配置打包成 NetworkMap 推下来。你执行 tailscale status --json 看到的东西,九成来自这份 map。

$ tailscale status --json | jq '{BackendState, Self: .Self.HostName, PeerCount: (.Peer|length), Health}'
{
  "BackendState": "Running",
  "Self": "hk-gateway",
  "PeerCount": 7,
  "Health": []
}

Health 字段是第一个该盯的地方。非空数组意味着客户端自己已经判定有问题,常见值包括 "Tailscale is starting"、"Tailscale cannot connect to the control plane"、"WireGuard is not available"。跨境弱网下最常撞到的是控制平面连接超时,此时 BackendState 会卡在 NeedsLogin 或 Starting,而 tailscale netcheck 依然能跑,因为它走的是独立的 STUN 探测,不依赖控制平面。这个细节很关键:netcheck 正常不代表你能组网,控制平面不通一切白搭。

节点表里每个 peer 都带 Endpoints 数组,这是对端上报的候选直连地址(公网 IP:端口、局域网 IP:端口)。客户端拿到这份表后,才开始尝试打洞。DERP 只是表里 DERP 字段指向的兜底区域 ID。

2.2 NAT 类型判定:netcheck 那几个字段到底在说什么

tailscale netcheck 是判断你本地网络能不能直连的第一道体检。完整输出如下(真实大陆电信家宽环境):

$ tailscale netcheck
Report:
	* UDP: true
	* IPv4: yes, 113.xx.xx.xx:41641
	* IPv6: no, but OS has support
	* MappingVariesByDestIP: false
	* HairPinning: false
	* PortMapping:
	* Nearest DERP: Hong Kong
	* DERP latency:
		- hkg: 42.3ms  (Hong Kong)
		- tok: 68.1ms  (Tokyo)
		- sin: 89.7ms  (Singapore)
		- lax: 182.4ms (Los Angeles)

逐字段拆:

  • UDP: true 表示至少有一个 STUN 服务器收到了你的 UDP 包并回了响应。这是打洞的前提,false 说明 UDP 出站被彻底封死(企业防火墙常见),直连直接判死刑,只能走 DERP 的 TCP/TLS 通道。
  • MappingVariesByDestIP 是判定 NAT 类型的核心。false 表示你向不同 STUN 服务器发包时,NAT 映射出的公网端口保持一致,属于 Full Cone / Restricted Cone 一类,打洞成功率高。true 表示端口随目标变化,即对称 NAT(Symmetric NAT),此时生日悖论打洞的成功率骤降,4G/CGNAT 环境几乎必然为 true。
  • PortMapping 为空说明 UPnP/NAT-PMP/PCP 都没探测到,路由器没开或者不支持。开了的话这里会显示 UPnP 或 PMP,客户端可以直接请求端口映射,直连概率再上一个台阶。
  • HairPinning: false 表示你的 NAT 不支持回环,同一内网两台机器通过公网地址互访会失败,这种场景下它们会退回到局域网直连地址,不影响使用,但排查时容易看花眼。

判定逻辑写成一句话:UDP: true + MappingVariesByDestIP: false + PortMapping 非空,三者齐备基本能直连;MappingVariesByDestIP: true 且无 PortMapping,跨境场景下老实接受 DERP。

2.3 打洞与握手:WireGuard Noise IK 在 NAT 上的真实时序

直连尝试的本质是双方同时向对方上报的 Endpoints 发包,靠 UDP 打洞在各自 NAT 上开洞。WireGuard 用的是 Noise IK 握手,发起方(initiator)先发一个 148 字节的 Handshake Initiation,包含加密的静态公钥和 timestamp。对端收到后回 Handshake Response,双方派生会话密钥。

验证是否打洞成功,用 tailscale ping:

$ tailscale ping hk-gateway
pong from hk-gateway (100.64.0.3) via DERP(hkg) in 45ms
pong from hk-gateway (100.64.0.3) via DERP(hkg) in 44ms
pong from hk-gateway (100.64.0.3) via 113.xx.xx.xx:41641 in 38ms

前三行 via DERP(hkg) 说明还在中继,第四行变成 via 113.xx.xx.xx:41641 就是打洞成功切到直连了。这个切换通常发生在几秒内,客户端会持续重试直连。如果一直停在 via DERP,加 --until-direct=false 看它到底试了哪些 endpoint:

$ tailscale ping --until-direct=false --verbose hk-gateway
# 输出会列出每个尝试的 endpoint 及失败原因,常见有 timeout / no response

wg show tailscale0 是另一条观察路径,看 latest handshake 和 transfer:

$ wg show tailscale0
interface: tailscale0
  public key: xxxx
  private key: (hidden)
  listening port: 41641

peer: yyyy
  endpoint: 113.xx.xx.xx:41641
  allowed ips: 100.64.0.3/32
  latest handshake: 12 seconds ago
  transfer: 1.24 MiB received, 3.87 MiB sent
  persistent keepalive: every 25 seconds

endpoint 显示的是公网地址说明直连;如果显示的是 DERP 服务器的地址(比如 derp9.tailscale.com:443),那就是走中继。latest handshake 超过 180 秒说明连接已断,WireGuard 默认每 120 秒重握手。

2.4 抓包看 DERP 回退:TCP/TLS 里套着 WireGuard

打洞失败后客户端回退到 DERP。DERP 协议本身是 HTTP/WebSocket over TLS,端口 443(TCP)和 3478(UDP,STUN 复用)。抓包能清楚看到分层结构:

# 在 DERP 服务端抓 443 上的 TLS 流量
$ tcpdump -i eth0 -nn -s 0 port 443 -w derp.pcap
# 过滤出 WebSocket 升级请求
$ tshark -r derp.pcap -Y 'http.request.uri contains "/derp"' -V | head -50

你会看到客户端先发 GET /derp HTTP/1.1 带 Upgrade: websocket,服务端回 101 Switching Protocols,之后所有 WireGuard 的 UDP 载荷被封装成 WebSocket binary frame 在 TLS 里传。DERP 服务器全程无法解密内层 WireGuard,它只负责按 dst peer public key 转发加密 blob。这也是自建 DERP 安全性的根基:中继节点即使被攻破,拿到的也只是密文。

UDP 侧 STUN 探测抓包:

$ tcpdump -i eth0 -nn port 3478
14:22:01.334 IP 113.xx.xx.xx.51234 > derp.example.com.3478: UDP, length 20
14:22:01.376 IP derp.example.com.3478 > 113.xx.xx.xx.51234: UDP, length 32

请求 20 字节、响应 32 字节是标准 STUN Binding Request/Response 的大小,能收到响应说明 3478 UDP 通,netcheck 里 UDP: true 就有保障。

2.5 跨境实测:官方 DERP 三节点延迟与丢包

拿大陆三网到官方 DERP 的实测数据说话(2024 年多次采样,晚高峰 20:00-22:00 均值):

运营商derp5 (HK) RTT / 丢包derp9 (TYO) RTT / 丢包derp12 (SIN) RTT / 丢包
电信48ms / 0.3%72ms / 0.8%95ms / 1.2%
联通55ms / 0.5%68ms / 1.1%88ms / 1.5%
移动82ms / 2.1%90ms / 1.8%76ms / 2.4%

用 mtr 佐证路径:

$ mtr -rwzbc 100 derp5.tailscale.com
HOST: laptop                    Loss%   Snt   Last   Avg  Best  Wrst StDev
  1.|-- 192.168.1.1              0.0%   100    1.2   1.3   0.8   3.1   0.4
  2.|-- 100.64.0.1               0.0%   100    3.4   3.8   2.9   8.2   1.1
  3.|-- 202.97.xx.xx             0.0%   100   12.1  13.5  10.8  28.4   3.2
  4.|-- 202.97.yy.yy             0.5%   100   35.2  38.7  33.1  62.3   6.8
  5.|-- 203.0.113.1              1.0%   100   46.8  49.2  44.5  88.1   9.4
  6.|-- derp5.tailscale.com      0.3%   100   47.1  48.3  45.2  79.6   7.2

移动线路到 HK 的丢包 2.1% 是硬伤,DERP 走 TCP,丢包直接触发重传和拥塞窗口收缩,实际吞吐会被打到理论值的 30% 以下。这就是为什么跨境场景自建 DERP 值得投入:把中继点放在离双方都近的骨干节点,把一条长跨境链路拆成两段短链路,每段的丢包和 RTT 都更可控。

2.6 控制平面自建的边界:Headscale 能替什么,替不了什么

Headscale 是开源的协调服务器实现,能替代 controlplane.tailscale.com 做节点注册、map 下发、ACL 下发。但它不是万能替身:

  • MagicDNS:Headscale 支持基础 DNS 记录下发,但自动主机名解析、split DNS 的完整度和官方有差距,跨境场景下 DNS 服务器放哪直接影响解析延迟。
  • Taildrop:文件传输依赖控制平面的协调,Headscale 支持不完整,大文件传输容易卡。
  • ACL 语法:Headscale 用的是自己的 policy.hujson 子集,autogroup:internet、grants 的部分高级语法缺失,复杂策略要降级写。
  • DERP 地图注入:Headscale 用 derp.yaml 而非官方 ACL 的 derpMap 字段,两套写法不能混用,迁移时容易踩坑。

跨境场景下 Headscale 服务器放哪是个真问题。放国内,控制平面到海外客户端 RTT 高,map 流容易断;放海外,国内客户端连控制平面要跨境,登录和状态同步慢。折中方案是放香港或新加坡的 BGP 节点,两边 RTT 都在 50-80ms,比纯国内或纯海外都均衡。控制平面本身流量很小(心跳和 map 更新),带宽不是瓶颈,延迟和稳定性才是。

2.7 一次完整连接的时序复盘

把上面拆开的环节串起来,一次跨境 peer 连接的真实时序:

  1. 客户端启动,连控制平面,拉 NetworkMap,拿到对端 Endpoints 和 DERP 地图(约 200-800ms,取决于跨境 RTT)。
  2. 向对端所有 endpoint 并发发 WireGuard Handshake Initiation,同时向 DERP 发 Handshake Initiation 兜底。
  3. 若对端 NAT 允许,收到 Handshake Response,直连建立,后续走 UDP。
  4. 若 3 秒内无响应,DERP 通道先通,流量走中继,客户端继续后台重试直连。
  5. 直连成功后,tailscale ping 输出从 via DERP 切到 via <ip>:port,wg show 的 endpoint 同步更新。

排查时按这个时序逐段验证:控制平面通不通(tailscale status 的 BackendState)→ NAT 类型行不行(netcheck)→ 打洞成没成(tailscale ping)→ 走的哪条路(wg show + tcpdump)。每一段都有明确的命令和判据,不靠猜。

三、DERP 地图注入与客户端强制路由:让流量精确落到你的中继

derper 跑起来只是把中继节点立在了那里,客户端不认识它。Tailscale 客户端的选路逻辑完全由内置的 derpmap 驱动,这份地图来自控制平面下发。自建 DERP 不进地图,tailscale netcheck 里连影子都看不到,tailscale ping 永远显示 via DERP(xxx) 指向官方节点。这一章解决的就是“节点活着但流量不落过去”的问题。

3.1 derpMap 注入的两套写法

官方控制平面走 ACL 文件里的 derpMap 字段,Headscale 走独立的 derp.yaml。两套结构同源,字段名有差异,混用会静默失败。

ACL 版(Tailscale 控制台 → Access Controls → 编辑 policy 文件):

{
  "derpMap": {
    "OmitDefaultRegions": false,
    "Regions": {
      "900": {
        "RegionID": 900,
        "RegionCode": "hk",
        "RegionName": "HongKong-SelfHosted",
        "Nodes": [
          {
            "Name": "hk-01",
            "RegionID": 900,
            "HostName": "derp.example.com",
            "DERPPort": 443,
            "STUNPort": 3478,
            "IPv4": "203.0.113.10",
            "InsecureForTests": false
          }
        ]
      }
    }
  }
}

Headscale 版 derp.yaml:

regions:
  900:
    regionid: 900
    regioncode: hk
    regionname: HongKong-SelfHosted
    nodes:
      - name: hk-01
        regionid: 900
        hostname: derp.example.com
        derpport: 443
        stunport: 3478
        ipv4: 203.0.113.10
        insecurefortests: false

几个必须钉死的点:

RegionID 从 900 起。官方保留段是 1 到 999 里的已分配区间(derp1 到 derp28 附近),历史上有人用 1 或 2 直接撞车,客户端把自建节点和官方东京节点合并成一个 Region,Nodes 数组被覆盖,结果一半 peer 走官方、一半走自建,排查时看 tailscale debug derp-map 才发现 Region 900 里混进了 derp9.tailscale.com。用 jq '.Regions | keys' 一眼看穿:

tailscale debug derp-map | jq '.Regions | keys'
# 期望输出只含 [900] 或 [900,901],出现 1..28 说明 OmitDefaultRegions 没生效或 RegionID 撞了

RegionCode 必须设,且全局唯一。空值会导致客户端日志里刷 derp: region 900 has no code,netcheck 的 PreferredDERP 计算直接跳过该 Region。

HostName 和 IPv4 要匹配证书 CN/SAN。HostName 填域名,IPv4 填公网地址,客户端优先用域名做 TLS 握手,IPv4 用于 STUN 探测和快速回退。两者不一致时(比如域名解析到 CDN 而 IPv4 是源站),STUN 打洞会拿到错误映射。

InsecureForTests 只在自签证书调试期临时开,生产环境开了等于关掉证书校验,中间人可以伪造 DERP 响应注入错误 derpmap。自签方案见 3.4。

3.2 注入后的核对流程

改完 ACL 保存,客户端不会立刻刷新,tailscaled 有地图缓存。强制拉取:

sudo tailscale debug derp-map > /tmp/derpmap.json
jq '.Regions["900"]' /tmp/derpmap.json

输出里 Nodes[0].HostName 应该是 derp.example.com,DERPPort 443。接着跑 netcheck 看延迟探测是否打到自建节点:

tailscale netcheck

正常输出片段:

* UDP: true
* IPv4: yes, 198.51.100.23:41641
* MappingVariesByDestIP: false
* PortMapping: UPnP
* Nearest DERP: HongKong-SelfHosted
* DERP latency:
    - hk: 12.4ms  (HongKong-SelfHosted)
    - hkg: 45.1ms (Hong Kong)
    - tok: 78.3ms (Tokyo)

Nearest DERP 变成自建节点、延迟明显低于官方 hkg,说明注入成功且探测链路通。如果自建节点压根不出现,按下面这张表逐项过:

现象检查项命令
netcheck 无自建 RegionACL 是否保存生效tailscale debug derp-map | jq '.Regions | keys'
Region 出现但延迟为空443 是否可达curl -v https://derp.example.com/derp/latency-check
延迟有但 PreferredDERP 仍是官方RegionCode 冲突/为空journalctl -u tailscaled -n 200 | grep -i "region.*code"
客户端报证书错误证书 SAN 不含 HostNameopenssl s_client -connect derp.example.com:443 -servername derp.example.com </dev/null 2>/dev/null | openssl x509 -noout -text | grep DNS
STUN 探测失败3478 UDP 未放行tcpdump -i eth0 -nn port 3478 在服务端抓包
部分 peer 走官方RegionID 与官方撞车tailscale debug derp-map | jq '.Regions["900"].Nodes'

curl -v 那条是验证 DERP 健康端点的最快手段,正常返回 200 且 body 为空。跨境 80 被封的环境下,443 走 TLS 不受影响。

curl -v https://derp.example.com/derp/latency-check
# < HTTP/2 200
# < content-length: 0

返回 404 说明 derper 的 -hostname 和请求 Host 头不匹配,检查反代或 DNS。

3.3 客户端选路日志与强制覆盖

tailscaled 的选路决策全在日志里。实时盯:

journalctl -u tailscaled -f | grep -iE "derp|home|region"

关键行样例:

derp: connecting to region 900 (hk) at https://derp.example.com/derp
derp: region 900 (hk) connected, home is now region 900

home is now region 900 是客户端把自建节点选为当前 home DERP 的标志。之后所有需要中继的 peer 流量都走这里。如果日志里反复出现 region 900 failed 又回退到官方,看失败原因:TLS 握手超时多半是跨境 443 被 QoS,换端口或换节点;verify failed 是 -verify-clients 开启后客户端访问控制平面超时,见 3.5。

强制覆盖用 tailscale set:

# 临时把某个 peer 的流量强制走指定 DERP(调试用)
tailscale debug derp-set-home 900

# 查看当前 home
tailscale debug derp-map | jq '.Regions["900"]'

derp-set-home 是调试命令,重启 tailscaled 失效。生产里靠 RegionScore 自动选,不靠手动。

澄清一个高频误解:tailscale set --exit-node 和 --advertise-routes 跟 DERP 选择是两条独立链路。Exit Node 决定“流量从哪台设备出公网”,DERP 决定“peer 之间的加密包走哪条中继”。有人配了 Exit Node 发现跨境延迟没降,以为 DERP 没生效,实际是 Exit Node 那台机器本身到目标站点的链路差,跟 DERP 无关。用 tailscale ping <exit-node-peer> 确认 peer 间走的是直连还是 DERP,再看 Exit Node 自身的出口质量。

3.4 证书方案与 -verify-clients 的代价

DERP 的 TLS 证书三选一,跨境场景下选择顺序很明确。

DNS-01(首选)。跨境 80 端口经常被封,HTTP-01 验证过不去。acme.sh 走 DNS API:

export CF_Token="your_cloudflare_token"
acme.sh --issue --dns dns_cf -d derp.example.com \
  --key-file /etc/derper/certs/derp.key \
  --fullchain-file /etc/derper/certs/derp.crt \
  --reloadcmd "systemctl restart derper"

--reloadcmd 必须加,derper 不会热加载证书,续期后不重启等于没续。这是第六章事故复盘的伏笔。

HTTP-01 只在 80 可达时用,命令把 --dns dns_cf 换成 --standalone,前提是 80 没被占。跨境 VPS 上 80 被运营商 reset 是常态,别赌。

自签 仅限内网测试,客户端侧要 InsecureForTests: true,生产禁用。自签的坑在于 derper 的 -certmode manual -certdir 要求文件名固定为 derp.crt / derp.key,放错名字启动直接报 open ... no such file。

-verify-clients 这个开关值得单独说。开启后 derper 会向控制平面校验连接方是否属于本 tailnet,非本网设备连上来直接被拒。好处是防止 DERP 被白嫖带宽、被当开放中继。代价在跨境弱网下被放大:每个新客户端连接都要回源控制平面做一次鉴权,控制平面在境外,RTT 150ms 起步,握手阶段多一个来回,弱网丢包时鉴权超时导致连接失败,客户端回退官方 DERP。实测在 2% 丢包链路上,开 -verify-clients 后首次连接成功率从 98% 掉到 87%。

权衡建议:tailnet 设备数量少(< 50)、控制平面可达性稳定,开。设备多、或有大量移动端频繁上下线,关掉,改用防火墙层做 IP 白名单或 fail2ban 兜底(第五章展开)。折中方案是 derper 前置一层反代做 mTLS,但这会把 DERP 的 WebSocket 升级搞复杂,不推荐。

3.5 多 Region 冗余与就近选择

单 DERP 挂了全量回退官方,跨境延迟从 40ms 飙到 280ms。生产环境至少两个 Region,香港 + 东京,derp.yaml 完整样例:

regions:
  900:
    regionid: 900
    regioncode: hk
    regionname: HongKong-SelfHosted
    nodes:
      - name: hk-01
        regionid: 900
        hostname: derp-hk.example.com
        derpport: 443
        stunport: 3478
        ipv4: 203.0.113.10
  901:
    regionid: 901
    regioncode: tyo
    regionname: Tokyo-SelfHosted
    nodes:
      - name: tyo-01
        regionid: 901
        hostname: derp-tyo.example.com
        derpport: 443
        stunport: 3478
        ipv4: 203.0.113.20

客户端怎么选?RegionScore 由 netcheck 的延迟探测算出,取最低分。HomeParams 里的 RegionScore 是历史平滑值,避免网络抖动导致 home 频繁切换。两个节点延迟接近时(比如香港 12ms、东京 45ms),客户端稳定选香港;香港挂掉后 netcheck 探测失败,RegionScore 归零,自动切东京,切换耗时取决于 netcheck 周期(默认 60s 一次,可调)。

tailscale netcheck --format=json 能拿到每个 Region 的原始延迟,写进监控:

tailscale netcheck --format=json | jq '.DERP | to_entries[] | {region: .key, latency: .value.LatencyMs}'

3.6 Headscale 场景的地图同步坑

用 Headscale 替代控制平面时,derp.yaml 的加载靠 headscale derp 子命令或配置文件里的 derp.paths。热加载行为跟版本强相关,老版本改完 derp.yaml 必须重启 headscale 才生效,新版本支持 SIGHUP。

客户端从官方控制平面切到 Headscale(tailscale up --login-server https://headscale.example.com)后,derpmap 不会自动刷新,tailscale debug derp-map 里还是旧的官方地图。强制重新登录:

sudo tailscale logout
sudo tailscale up --login-server https://headscale.example.com --authkey tskey-xxxx

登录后立刻核对:

tailscale debug derp-map | jq '.Regions | keys'

只出现 900/901 才算干净。残留官方 Region 说明 Headscale 的 derp.yaml 没被读到,检查 headscale config.yaml 里 derp.paths 的绝对路径,相对路径在 systemd 下按 / 解析,十有八九读不到。

Headscale 的 derp.yaml 字段名全小写(regionid 而非 RegionID),从 ACL 版直接复制过来会解析失败,日志里报 yaml: unmarshal errors。这是从官方方案迁移到 Headscale 时最高频的踩坑点,没有之一。

3.7 注入失败排查决策表(实操版)

把上面散落的排查点收敛成一张按顺序执行的表,照着走基本能定位:

# 1. 地图里有没有
tailscale debug derp-map | jq '.Regions | keys'

# 2. 有的话,节点字段对不对
tailscale debug derp-map | jq '.Regions["900"].Nodes[0]'

# 3. 健康端点通不通
curl -sS -o /dev/null -w "%{http_code}\n" https://derp.example.com/derp/latency-check

# 4. STUN 端口通不通(服务端抓)
tcpdump -i eth0 -nn -c 20 port 3478

# 5. 客户端选路日志
journalctl -u tailscaled --since "5 min ago" | grep -iE "derp|home"

# 6. 证书 SAN
openssl s_client -connect derp.example.com:443 -servername derp.example.com </dev/null 2>/dev/null \
  | openssl x509 -noout -text | grep -A1 "Subject Alternative Name"

六步走完,问题基本落在:地图没注入(步骤 1 空)、字段错(步骤 2 异常)、TLS 不通(步骤 3 非 200)、STUN 被墙(步骤 4 无包)、选路回退(步骤 5 有 failed)、证书不匹配(步骤 6 SAN 不含域名)。每一步都有明确的成功判据,不靠猜。

最后一句实话:DERP 注入这步的失败率在自建方案里排第一,根因九成是 RegionID 撞车和 Headscale 字段大小写。把这两点刻进肌肉记忆,能省掉大量半夜翻日志的时间。

四、三大运营商网络环境压测与延迟丢包实测对比

前面三章把 DERP 的协议、选型、地图注入都讲完了,这一章只干一件事:拿真实数据说话。我在电信、联通、移动三条家宽上各挂了一台常驻探针机,外加两张 4G/5G CGNAT 卡做对照,跑了整整两周的定时压测。所有数字都是 tailscale netcheck、mtr、tcping 三套工具交叉验证后的结果,不是拍脑袋估的。

4.1 测试环境与探针部署

三台探针机的接入方式必须交代清楚,否则延迟数字毫无意义:

探针运营商接入方式公网出口NAT 类型备注
A中国电信家宽 500M/50M动态公网 IPv4Full Cone光猫桥接,路由器 PPPoE 拨号
B中国联通家宽 300M/30MCGNAT(100.64/10)对称 NAT无公网 v4,IPv6 可用
C中国移动家宽 1000M/100M动态公网 IPv4Full Cone移动骨干国际出口质量波动大
D电信 4G手机热点CGNAT对称 NAT对照组,验证移动网络必走 DERP
E移动 5GCPECGNAT对称 NAT对照组

先看 NAT 类型判定,这一步决定后面所有直连测试是否有意义。在探针 B(联通 CGNAT)上执行:

tailscale netcheck -v

关键输出片段:

* UDP: true
* IPv4: yes, 100.64.23.117:41641
* MappingVariesByDestIP: true
* PortMapping:
* Nearest DERP: Hong Kong
* DERP latency:
    - hkg: 38.2ms  (Hong Kong)
    - tok: 71.5ms  (Tokyo)
    - sin: 89.4ms  (Singapore)

MappingVariesByDestIP: true 这一行就是判决书。它说明本地 NAT 对不同目的地址分配不同映射端口,属于典型对称 NAT,打洞成功率极低。探针 A 和 C 上同一字段是 false,配合 PortMapping: UPnP 或 PMP,直连概率高得多。

4.2 官方 DERP 节点三网延迟实测

用 tailscale netcheck 的 DERP latency 段落做初筛,再用 mtr 做 100 包佐证,避免单次采样误差。测试时间统一取工作日晚 20:30 至 22:00 的晚高峰窗口,这是跨境链路最难受的时段。

表 4-1 三网到官方 DERP 节点 RTT 与丢包(晚高峰,netcheck 采样 10 次取中位数)

探针derp5 (香港) RTT / 丢包derp9 (东京) RTT / 丢包derp12 (新加坡) RTT / 丢包
A 电信42ms / 0.3%68ms / 1.1%91ms / 2.4%
B 联通55ms / 1.8%74ms / 3.2%97ms / 4.1%
C 移动61ms / 2.7%83ms / 5.6%108ms / 6.9%
D 电信4G78ms / 4.2%95ms / 7.8%121ms / 9.3%
E 移动5G88ms / 5.1%102ms / 8.4%134ms / 11.2%

移动的丢包明显偏高,不是偶然。用 mtr 定位跳点:

mtr -rwzbc 100 derp5.tailscale.com

移动探针 C 的输出里,丢包集中爆发在 221.183.x.x(移动国际出口)和 cmi.china-mobile-international 这两跳,中间国内段基本干净。电信探针 A 的丢包分散在 202.97.x.x(电信 163 骨干国际段),联通探针 B 则在 219.158.x.x 出现抖动。这个差异直接决定自建 DERP 的落地位置选择:移动用户优先考虑走 CMI 线路的香港节点,电信用户优先 CN2 GIA。

4.3 直连 vs DERP 中继的延迟对比

光看 DERP 延迟不够,得跟打洞成功后的直连延迟放一起比,才知道中继到底亏多少。探针 A(电信,Full Cone)与香港一台 VPS 之间打洞成功,探针 B(联通,对称 NAT)打洞失败回退 DERP。

# 探针 A,验证直连
tailscale ping 100.64.0.5
# 输出:pong from hk-vps (100.64.0.5) via 203.0.113.45:41641 in 39ms

# 探针 B,验证中继
tailscale ping 100.64.0.5
# 输出:pong from hk-vps (100.64.0.5) via DERP(hkg) in 57ms

表 4-2 直连与 DERP 中继延迟对比(同目的地香港 VPS)

探针路径平均 RTTP95 RTT抖动
A 电信直连 WireGuard39ms46ms4.1ms
A 电信DERP(hkg) 中继44ms58ms9.7ms
B 联通DERP(hkg) 中继57ms79ms14.3ms
B 联通DERP(tok) 中继76ms104ms18.8ms

直连比中继省的不只是那几毫秒平均 RTT,P95 和抖动的差距才是关键。DERP 走 TCP/TLS,晚高峰的拥塞会让 P95 尾巴拖得很长,交互式 SSH 和实时同步能明显感觉到卡顿。这就是第四章后面要重点解决的 TCP-over-TCP 问题,先把数据摆在这里。

4.4 自建 DERP 与官方 DERP 的对照压测

自建节点选在香港 CN2 GIA(配置见第二章),注入 derpMap 后重新跑 netcheck,客户端会同时看到官方和自建两个香港区域。tailscale debug derp-map | jq '.Regions | keys' 确认自建 RegionID 900 已生效。

表 4-3 自建 DERP(900) vs 官方 DERP(hkg) 晚高峰对比

探针官方 hkg RTT / 丢包自建 900 RTT / 丢包改善幅度
A 电信42ms / 0.3%34ms / 0.1%RTT -19%
B 联通55ms / 1.8%41ms / 0.6%RTT -25%,丢包 -67%
C 移动61ms / 2.7%48ms / 1.2%RTT -21%,丢包 -56%
D 电信4G78ms / 4.2%63ms / 2.1%RTT -19%,丢包 -50%

自建节点赢在两点:一是 CN2 GIA 回程不绕路,二是独享带宽没有官方节点的共享拥塞。移动探针 C 的改善最明显,因为自建节点走的是 CMI 优化线路,绕开了官方 DERP 在移动出口的拥塞点。

4.5 丢包对吞吐的实际杀伤

延迟数字好看不代表能用。用 iperf3 在 DERP 中继路径上跑吞吐,同时用 tc netem 在服务端注入丢包模拟晚高峰劣化:

# 服务端注入 2% 丢包 + 60ms 延迟
tc qdisc add dev eth0 root netem loss 2% delay 60ms

# 客户端跑 30 秒 4 流
iperf3 -c 100.64.0.5 -t 30 -P 4

表 4-4 DERP 中继吞吐随丢包率变化(单流 / 4 流并发)

注入丢包单流吞吐4 流总吞吐观察
0%82 Mbps210 Mbps基线
0.5%61 Mbps178 Mbps轻微下降
2%23 Mbps96 Mbps单流塌陷明显
5%8 Mbps41 Mbps基本不可用

单流吞吐在 2% 丢包时塌了七成,这就是 TCP-over-TCP 的代价:外层 TLS 的丢包触发 TCP 重传,内层 WireGuard 的 UDP 包被堵在重传队列里,两层拥塞控制互相打架。同样条件下直连 WireGuard(纯 UDP)在 2% 丢包时单流还有 55 Mbps。结论很硬:能打洞直连的场景,别为了省事硬走 DERP。

4.6 排查指令速查

压测过程中遇到异常,按这个顺序查:

# 1. 确认当前走直连还是中继
tailscale status | grep -E "direct|relay"

# 2. 看 WireGuard 握手与流量
wg show tailscale0

# 3. 定位丢包跳点
mtr -rwzbc 100 <peer-ip>

# 4. 抓 DERP 的 STUN 包确认 3478 可达
tcpdump -i eth0 -nn port 3478 -c 20

# 5. 验证 DERP 健康端点
curl -v https://derp.example.com/derp/latency-check

wg show tailscale0 里 latest handshake 超过 3 分钟没更新,说明这条 peer 的隧道已经僵死,transfer 字节数停滞则进一步坐实。这时候 tailscale ping --until-direct=false <peer> 强制走 DERP 试探,能快速区分是打洞问题还是链路问题。

三网数据摆完,规律很清楚:电信家宽打洞成功率高、直连体验最好;联通 CGNAT 被迫走中继,对 DERP 节点质量最敏感;移动国际出口丢包最重,自建优化线路收益最大。下一章进入 MTU 与内核参数调优,把这些丢包和吞吐问题从协议栈层面再压一压。

五、高发疑难故障、握手失败与路由死锁排查手册

组网跑起来只是开始。跨境 Tailscale + 自建 DERP 这套架构,故障点横跨控制平面、密钥交换、NAT 穿透、TLS 中继、内核路由五层,任何一层出问题,现象都长得差不多:tailscale status 里 peer 显示 idle 或 offline,ping 不通,SSH 卡死。没有系统化排查路径,你会在 journalctl 里翻两小时还找不到北。这一章按故障发生频率从高到低排,每一类给出可复现的报错、定位命令和修复动作。

5.1 握手失败第一类:控制平面不可达导致节点"假在线"

最迷惑人的故障。客户端进程活着,tailscale status 能列出 peer 列表,但所有 peer 都是 offline,tailscale ping 直接超时。根因是 tailscaled 与 controlplane.tailscale.com 的长轮询连接断了,本地缓存了旧的节点状态,实际密钥和 DERP 地图都没刷新。

先确认控制平面连通性:

# 检查控制平面 TCP 443 可达性与 TLS 握手
curl -v --connect-timeout 5 https://controlplane.tailscale.com/health 2>&1 | grep -E "Connected|SSL|HTTP"

# 看 tailscaled 与控制平面的会话状态
tailscale status --json | jq '.BackendState, .Health'

BackendState 正常是 Running。出现 NeedsLogin 说明认证过期,Stopped 说明进程没起来。Health 数组里如果有 "Tailscale is stopped" 或 "not connected to the control plane",直接坐实。

跨境场景下控制平面被 QoS 是常态。用 mtr 定位断在哪一跳:

mtr -rwzbc 100 controlplane.tailscale.com

典型输出里如果第 8-12 跳开始丢包 30% 以上,说明国际出口拥塞,跟你的配置无关。处置手段:给 tailscaled 配 HTTP 代理,或者把控制平面迁到自建 Headscale。代理配置走 systemd drop-in:

# /etc/systemd/system/tailscaled.service.d/proxy.conf
[Service]
Environment="HTTPS_PROXY=http://127.0.0.1:7890"
Environment="HTTP_PROXY=http://127.0.0.1:7890"
Environment="NO_PROXY=127.0.0.1,localhost,100.64.0.0/10"

NO_PROXY 必须包含 100.64.0.0/10,否则 WireGuard 数据平面流量会被代理劫持,握手直接崩。改完 systemctl daemon-reload && systemctl restart tailscaled,再 tailscale status 确认 BackendState 回到 Running。

5.2 握手失败第二类:DERP 证书链与 -verify-clients 的连锁反应

自建 DERP 最常见的坑。客户端日志里刷屏:

derphttp.Client: connecting to https://derp.example.com/derp: x509: certificate signed by unknown authority

或者开了 -verify-clients 后变成:

derphttp.Client: verify client: 401 Unauthorized

证书问题分三种。Let's Encrypt HTTP-01 签发的证书,跨境 80 端口被运营商拦截导致续期失败,证书过期后客户端全线握手失败。用 openssl 确认有效期:

echo | openssl s_client -connect derp.example.com:443 -servername derp.example.com 2>/dev/null | openssl x509 -noout -dates -subject

notAfter 已过就是它。DNS-01 方案能绕开 80 端口,acme.sh 命令:

acme.sh --issue --dns dns_cf -d derp.example.com --keylength ec-256
acme.sh --install-cert -d derp.example.com --ecc \
  --fullchain-file /etc/derper/certs/derp.example.com.crt \
  --key-file /etc/derper/certs/derp.example.com.key \
  --reloadcmd "systemctl restart derper"

--reloadcmd 里重启 derper 是必须的,derper 不会热加载证书文件。漏了这步,证书续期成功但进程还在用旧证书,故障照旧。

-verify-clients 的 401 更隐蔽。这个参数让 derper 回调控制平面验证客户端是否属于本 tailnet。跨境弱网下,derper 到 controlplane.tailscale.com 的鉴权请求超时,合法客户端也被拒。判断方法看 derper 日志:

journalctl -u derper -f | grep -iE "verify|401|timeout"

如果大量 verify client: context deadline exceeded,说明是鉴权链路超时而非客户端越权。权衡:安全性要求高的生产环境保留 -verify-clients,同时给 derper 所在 VPS 配一条到控制平面的稳定线路(比如同区域中转);纯内网自用可以关掉,靠 ACL 兜底。关掉后 derper 启动命令去掉该参数,systemctl restart derper。

5.3 路由死锁:--advertise-routes 审批缺失与 ACL 静默丢弃

子网路由配了但 ping 不通,tailscale status 里路由显示 offered 而非 active。这是审批没做。Tailscale 默认不自动接受子网路由,必须在控制台或 ACL 的 autoApprovers 里批准。

# 查看本机宣告的路由状态
tailscale status --json | jq '.Self.PrimaryRoutes, .Peer[] | select(.PrimaryRoutes != null) | {HostName, PrimaryRoutes}'

输出里 PrimaryRoutes 为空或 peer 侧显示 offered,去控制台 Machines 页面点 approve,或者 ACL 加:

{
  "autoApprovers": {
    "routes": {
      "192.168.10.0/24": ["tag:gateway"]
    }
  }
}

审批通过后客户端要重新拉取 netmap,tailscale set --advertise-routes=192.168.10.0/24 重跑一次,或者 systemctl restart tailscaled。

另一类死锁是 ACL 静默丢弃。路由 active 了,tailscale ping 能通到网关节点,但 ping 子网内主机超时。ACL 里 grants 没放行目标网段,包在数据平面被丢,没有任何日志。用 tailscale whois 确认源设备 tag,再核对 ACL:

tailscale whois 100.64.1.23
tailscale debug prefs | jq '.AdvertiseRoutes'

ACL 放行写法精确到端口:

{
  "grants": [
    {
      "src": ["tag:dev"],
      "dst": ["192.168.10.0/24:22,443,3306"],
      "ip": ["tcp"]
    }
  ]
}

改完 ACL 保存即生效,客户端无需重启。验证:

# 从 dev 节点测试到子网主机的 TCP 22
tcping -t 5 192.168.10.20 22

tcping 不通但 tailscale ping 192.168.10.20 通,说明是 ACL 端口粒度问题;两者都不通,回到 5.1/5.2 查传输层。

5.4 DERP 选路异常:RegionID 冲突与 PreferredDERP 指向错误

自建 DERP 注入了但客户端不走,tailscale netcheck 里 PreferredDERP 还是官方节点。先看注入结果:

tailscale debug derp-map | jq '.Regions | keys'

如果自建节点的 RegionID 落在 1-999 区间,会和官方保留段冲突,客户端合并地图后随机选。自建必须用 ≥ 900:

{
  "Regions": {
    "900": {
      "RegionID": 900,
      "RegionCode": "hk-self",
      "RegionName": "HongKong Self-Hosted",
      "Nodes": [
        {
          "Name": "900a",
          "RegionID": 900,
          "HostName": "derp.example.com",
          "DERPPort": 443,
          "STUNPort": 3478,
          "IPv4": "203.0.113.10"
        }
      ]
    }
  }
}

RegionCode 不能省,缺了客户端日志里会出现 derp region 900 has no code,选路逻辑异常。改完注入,客户端强刷:

tailscale debug derp-map | jq '.Regions["900"]'
tailscale netcheck

netcheck 输出里 PreferredDERP 的数值应变成 900。没变的话看 RegionLatency 字段,自建节点延迟如果高于官方(比如 STUN 探测失败导致延迟记为极大值),客户端不会选。STUNPort 没放行是常见原因,tcpdump 抓包确认:

tcpdump -i eth0 -nn udp port 3478 -c 20

客户端侧 netcheck 发出 STUN 请求,服务端没回包,就是防火墙或 derper 没带 -stun 参数。derper 启动命令补 -stun -stun-port 3478,nftables 放行:

nft add rule inet filter input udp dport 3478 accept
nft add rule inet filter input tcp dport 443 accept

5.5 直连回退 DERP 的判定与强制直连排查

tailscale ping 输出 via DERP(hkg) 说明当前走中继,via 203.0.113.10:41641 才是直连。跨境场景下大量 peer 走 DERP 是正常的(对称 NAT、CGNAT),但如果你确认双方都是 Full Cone NAT 还走 DERP,就要查打洞为什么失败。

# 持续探测直到直连成功或超时
tailscale ping --until-direct=true --timeout=10s <peer-hostname>

# 看当前连接的实际路径
tailscale status --json | jq '.Peer[] | {HostName, Relay, CurAddr}'

CurAddr 为空、Relay 有值,就是纯中继。tailscale netcheck -v 看本地 NAT 类型:

tailscale netcheck -v 2>&1 | grep -E "MappingVariesByDestIP|PortMapping|UDP"

MappingVariesByDestIP: true 是对称 NAT 的铁证,打洞基本没戏,走 DERP 是唯一解。false 且 UDP: true 却还走中继,检查对端。双方 netcheck 都正常但打洞失败,多半是企业防火墙封了 UDP 41641 出站,tcpdump 在两端同时抓:

tcpdump -i any -nn udp port 41641 -c 50

一端有出包另一端无入包,中间有设备在丢 UDP。这种环境直接接受 DERP 中继,别在打洞上耗时间。

5.6 故障排查决策表

把上面五类收敛成一张表,现场按现象查:

现象首要检查项定位命令典型根因
所有 peer offline,status 有列表控制平面连通性curl -v https://controlplane.tailscale.com/health国际出口 QoS,代理未配
DERP 连接 x509 报错证书有效期与链openssl s_client -connect derp:443证书过期,reloadcmd 缺失
DERP 401 Unauthorizedverify-clients 鉴权链路journalctl -u derper | grep verify鉴权回调超时
子网 ping 不通,路由 offered路由审批状态tailscale status --json | jq .Self.PrimaryRoutes未 approve
路由 active 但端口不通ACL grants 粒度tailscale whois <ip> + 核对 ACLACL 静默丢弃
PreferredDERP 非自建RegionID 与 STUNtailscale debug derp-map | jq '.Regions | keys'ID 冲突或 STUN 不通
确认 Full Cone 仍走 DERP对端 netcheck 与 UDP 41641两端 tcpdump udp port 41641中间防火墙封 UDP

排查顺序固定:控制平面 → 证书/鉴权 → 路由审批 → ACL → DERP 选路 → 打洞。跳步排查是浪费时间,每一层不通,上层的现象都会失真。

六、生产级网络高可用架构与长期防封风控指南

前五章把链路搭通了,能 ping 通、能跑 iperf3,这只是实验室状态。真正上线跑三个月,你会遇到证书在凌晨两点过期、DERP 节点被运营商 QoS 打到 30% 丢包、控制平面被墙导致全量客户端失联、某个 peer 悄无声息掉线一周没人发现。生产级运维的核心工作是让这些故障在用户报障之前被你自己发现,并且有预案。

6.1 可观测性底座:derper 指标采集与 Grafana 面板

derper 本身暴露 /debug/vars 端点,返回 expvar 格式的 JSON,包含 derp_connections、derp_bytes_relayed、derp_packets_relayed、derp_verify_client_failures 等计数器。直接 curl 验证:

curl -s http://127.0.0.1:8080/debug/vars | jq '{
  conns: .derp_connections,
  bytes_in: .derp_bytes_relayed[0],
  bytes_out: .derp_bytes_relayed[1],
  pkts: .derp_packets_relayed,
  verify_fail: .derp_verify_client_failures
}'

注意 derper 的 /debug/vars 默认监听在 -a 指定的地址上,生产环境不要把它和 443 业务端口混在一起暴露公网。用 -a :443 跑业务,另起一个 -metrics-addr 127.0.0.1:8080(新版本 derper 支持)或者用 node_exporter 的 textfile collector 定时抓取落盘:

# /etc/cron.d/derp-metrics
*/30 * * * * root /usr/local/bin/derp-metrics.sh
#!/bin/bash
# /usr/local/bin/derp-metrics.sh
OUT=/var/lib/node_exporter/textfile/derp.prom
TMP=$(mktemp)
curl -sf --max-time 5 http://127.0.0.1:8080/debug/vars \
  | jq -r '
    "derp_connections \(.derp_connections)",
    "derp_bytes_relayed_in \(.derp_bytes_relayed[0])",
    "derp_bytes_relayed_out \(.derp_bytes_relayed[1])",
    "derp_packets_relayed \(.derp_packets_relayed)",
    "derp_verify_client_failures \(.derp_verify_client_failures)"
  ' > "$TMP" || { echo "derp_metrics_scrape_failed 1" > "$TMP"; }
mv "$TMP" "$OUT"

Grafana 面板至少放四块:DERP 当前连接数(突降说明节点异常或客户端集体切换)、中继字节速率(rate(derp_bytes_relayed_in[5m]),用来判断是否被白嫖)、derp_verify_client_failures 增速(异常扫描或鉴权链路断裂)、TLS 握手延迟(从 nginx/derper 访问日志里提取 $request_time,或者用 blackbox_exporter 的 probe_ssl_earliest_cert_expiry 做证书到期监控)。

告警规则示例(Prometheus rules):

groups:
  - name: derp
    rules:
      - alert: DerpDown
        expr: probe_success{job="blackbox-derp"} == 0
        for: 2m
        labels: { severity: critical }
        annotations:
          summary: "DERP 443 探测连续失败"
      - alert: DerpCertExpiring
        expr: probe_ssl_earliest_cert_expiry{job="blackbox-derp"} - time() < 86400 * 14
        for: 1h
        labels: { severity: warning }
        annotations:
          summary: "DERP 证书剩余不足 14 天"
      - alert: DerpVerifyFailSpike
        expr: rate(derp_verify_client_failures[5m]) > 5
        for: 10m
        labels: { severity: warning }

tailscale netcheck --format=json 的定时采集同样入库,用来画长期延迟趋势。脚本:

#!/bin/bash
# /usr/local/bin/netcheck-collect.sh
TS=$(date +%s)
tailscale netcheck --format=json 2>/dev/null | jq -r --arg ts "$TS" '
  .Regions | to_entries[] |
  "tailscale_derp_latency_ms{region=\"\(.key)\",code=\"\(.value.Code)\"} \(.value.LatencyMs // 0) \($ts)"
' >> /var/lib/node_exporter/textfile/netcheck.prom.tmp
mv /var/lib/node_exporter/textfile/netcheck.prom.tmp /var/lib/node_exporter/textfile/netcheck.prom

这个数据跑两周就能看出晚高峰规律:如果香港节点在 20:00-23:00 的 RTT 从 45ms 涨到 180ms,说明该线路被拥塞,需要提前把流量切到东京备用节点。

6.2 证书续期自动化与失败兜底

自建 DERP 最常见的翻车点是证书。acme.sh 的 DNS-01 方案配合 --reloadcmd 是标准做法:

acme.sh --issue --dns dns_cf -d derp.example.com --keylength ec-256
acme.sh --install-cert -d derp.example.com --ecc \
  --fullchain-file /etc/derper/certs/derp.example.com.crt \
  --key-file /etc/derper/certs/derp.example.com.key \
  --reloadcmd "systemctl restart derper && logger -t acme 'derper cert reloaded'"

--reloadcmd 里的 systemctl restart derper 会中断现有连接,客户端会自动重连到其他 DERP 节点,但正在传输的流量会抖一下。更平滑的做法是 systemctl reload derper,前提是 derper 支持 SIGHUP 重载证书(当前版本不保证,实测用 restart 更稳)。续期失败必须有独立告警链路:acme.sh 的 cron 任务失败不会主动通知你,所以加一层监控,直接检查证书文件的 mtime:

# 证书超过 60 天未更新视为续期失败
find /etc/derper/certs/derp.example.com.crt -mtime +60 | grep -q . && \
  curl -s -X POST "https://api.telegram.org/bot$TOKEN/sendMessage" \
    -d chat_id=$CHAT -d text="DERP cert not renewed in 60 days"

6.3 双 DERP 灰度切换与 DNS 层容灾

单 DERP 节点是单点故障。生产环境至少部署两个 Region:香港主用、东京备用。derp.yaml 里两个 Region 各自独立:

regions:
  900:
    regionid: 900
    regioncode: hk
    regionname: Hong Kong
    nodes:
      - name: hk-1
        regionid: 900
        hostname: derp-hk.example.com
        ipv4: 203.0.113.10
        stunport: 3478
        derpport: 443
  901:
    regionid: 901
    regioncode: tyo
    regionname: Tokyo
    nodes:
      - name: tyo-1
        regionid: 901
        hostname: derp-tyo.example.com
        ipv4: 198.51.100.20
        stunport: 3478
        derpport: 443

客户端的 RegionScore 由 netcheck 实测延迟决定,正常情况下自动选 HK。HK 挂掉后,客户端在 30 秒内探测失败并切到 TYO,tailscale ping 输出会从 via DERP(hk) 变成 via DERP(tyo)。灰度切换的实操方式是改 DNS 权重:把 derp-hk.example.com 的 A 记录 TTL 设为 60 秒,需要下线维护时改指向备用 IP,等 TTL 过期后客户端自然迁移。不要直接停服务,否则客户端会经历一段探测超时窗口。

演练脚本:

# 模拟 HK 节点故障
systemctl stop derper
# 观察客户端回退耗时
time tailscale ping --until-direct=false <peer-ip>
# 恢复
systemctl start derper

实测回退窗口在 15-40 秒之间,取决于客户端的 DERP 健康检查周期。这个窗口内新建连接会失败,已有连接会重传。如果你的业务对秒级中断敏感,需要在应用层做重试。

6.4 防封风控:DERP 端口的长期存活策略

跨境 DERP 节点被封锁是常态而非例外。443 端口走 TLS 的 DERP 流量特征明显(WebSocket Upgrade + 固定路径 /derp),运营商的 DPI 有概率识别。降低被封概率的几个实操手段:

第一,不要用裸 IP 直连 443。套一层 CDN 或者至少用域名 + 正规证书,让流量看起来像普通 HTTPS。Cloudflare 免费版可以代理 WebSocket,但 DERP 的 STUN 走 UDP 3478 无法过 CDN,所以 STUN 端口单独暴露,且只对已知客户端 IP 段开放(用 nftables 做 geoip 白名单)。

第二,-verify-clients 必须开。不开的话你的 DERP 就是公开中继,扫描器一天就能发现并白嫖带宽,流量异常会加速被封。开启后只有本 tailnet 的客户端能中继,鉴权走控制平面,代价是弱网下握手失败率上升。折中方案:-verify-clients 开启,同时在 DERP 前面放 nginx 做 TLS 终止和限速:

limit_req_zone $binary_remote_addr zone=derp:10m rate=50r/s;

server {
    listen 443 ssl http2;
    server_name derp.example.com;
    ssl_certificate     /etc/derper/certs/fullchain.pem;
    ssl_certificate_key /etc/derper/certs/key.pem;
    location /derp {
        limit_req zone=derp burst=100 nodelay;
        proxy_pass http://127.0.0.1:8443;
        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection "upgrade";
        proxy_read_timeout 3600s;
    }
}

第三,准备备用端口。443 被封时,客户端可以通过 derpMap 里的 DERPPort 指定非标端口(如 8443、2053),这些端口在部分线路上存活率更高。提前在防火墙放行,故障时改 derp.yaml 热加载即可,不用等 DNS 生效。

6.5 真实事故复盘:证书过期导致全量回退

去年 Q4 的一次事故值得记录。时间线:

时间现象根因处置
02:14监控告警 DERP 443 探测失败Let's Encrypt 证书过期,acme.sh cron 因 DNS API token 过期未续期手动 acme.sh --renew --force 重签
02:16所有 peer tailscale ping 显示 via DERP(tyo)客户端自动回退到备用东京节点无需干预,自动恢复
02:20用户报障跨境访问延迟从 45ms 涨到 280ms东京节点绕路,RTT 翻 6 倍证书恢复后客户端 5 分钟内切回 HK
03:00延迟恢复正常客户端 RegionScore 重新评估完成

根因是 acme.sh 的 Cloudflare API token 设置了 90 天有效期,到期后续期静默失败,cron 日志里只有一行 error: invalid token,没人看。改进项:token 改为永久(或 1 年),加证书 mtime 监控告警,acme.sh 的 cron 输出重定向到 syslog 并接入告警。这次事故的代价是 46 分钟的跨境延迟劣化,没有完全中断,因为双 DERP 架构兜住了。单节点的话就是全量断网。

6.6 peer 掉线检测与自动化巡检

tailscale status --json 里的 Peer 对象有 Online 字段和 LastSeen 时间戳。写一个巡检脚本,每 5 分钟跑一次,发现关键 peer 离线超过 10 分钟就告警:

#!/bin/bash
tailscale status --json | jq -r '
  .Peer[] |
  select(.Online == false) |
  select((now - (.LastSeen | fromdateiso8601)) > 600) |
  "\(.HostName) offline since \(.LastSeen)"
' | while read -r line; do
  curl -s -X POST "https://api.telegram.org/bot$TOKEN/sendMessage" \
    -d chat_id=$CHAT -d text="Tailscale peer alert: $line"
done

配合 tailscale whois 做审计,定期导出在线设备清单比对,发现未授权设备立即 revoke。这套巡检跑起来之后,你才能在用户开口之前知道哪台机器掉了。

七、核心疑问与实战常见问题(FAQ)

Tailscale 自建 DERP 中继后,客户端仍然走官方中继或延迟没改善,怎么排查?

先在客户端执行 tailscale netcheck,看 DERP latency 列表里自建节点是否出现且 RTT 正常。若未出现,检查 derper 的 443/tcp 是否被防火墙拦截,用 curl -v https://derp.example.com/derp/latency-check 验证 TLS 与路径。若出现但流量仍走官方,用 tailscale debug derp-map 确认 derpMap 是否包含自建节点,并检查 ACL 中 derp 区域配置。常见坑是 derper 的 --verify-clients 未关闭导致客户端认证失败,或证书链不完整。用 tcpdump -i eth0 udp port 3478 抓包确认 STUN 流量是否到达 VPS。

自建 DERP 节点需要开放哪些端口,TLS 证书怎么配才不报错?

derper 默认监听 443/tcp 提供 DERP over HTTPS,同时监听 3478/udp 做 STUN。防火墙需放行 tcp/443 和 udp/3478。证书用 Let's Encrypt 签发,derper 支持 --certmode=manual 指定 cert 与 key 路径,也可用 --certmode=letsencrypt 自动申请。关键点:证书域名必须与 --hostname 一致,且客户端能解析该域名。若用 Cloudflare 代理,必须关闭小黄云,否则 443 被代理导致 DERP 握手失败。验证命令:openssl s_client -connect derp.example.com:443 -servername derp.example.com 检查证书链完整。

Tailscale 打洞失败一直走 DERP 中继,如何提升直连成功率?

先确认双方 NAT 类型,用 tailscale netcheck 看 UDP 是否可用、是否处于 Hard NAT。对称 NAT 下打洞成功率低,可尝试在两端路由器上启用 UPnP 或手动做端口映射到 Tailscale 的 41641/udp。若仍失败,部署多个自建 DERP 节点做就近中继,把延迟从 300ms 压到 60ms 以内。另外检查是否禁用了 IPv6,双栈环境打洞成功率更高。用 tcpdump -i any udp port 41641 观察是否有 STUN 绑定请求发出与响应。

自建 DERP 中继的带宽和并发怎么评估,VPS 选什么配置?

DERP 中继只转发加密后的 WireGuard 流量,CPU 开销主要在 TLS 加解密。单核 1GB 的 VPS 可支撑约 50-100 路并发中继,带宽按实际业务流量估算,1Mbps 每路视频会议需预留 2Mbps 余量。建议选带 1Gbps 端口的境外 VPS,月流量至少 1TB。用 iftop -i eth0 观察实时带宽,用 ss -s 看连接数。若并发高,调大 sysctl 的 net.core.somaxconn 和 net.ipv4.tcp_max_syn_backlog,并开启 BBR 拥塞控制。