基于Tailscale与自建DERP中继的私有跨境虚拟局域网搭建:零配置内网穿透与跨国通信加密实战
Tailscale 官方 DERP 中继在跨境场景下经常把流量绕到东京、新加坡甚至美西,晚高峰延迟飙到 300ms 以上,打洞失败时 SSH 卡成幻灯片。本文不讲概念,直接给一套可落地的方案:在境外 VPS 上自建 DERP 节点,用 sing-box 做 UDP 转发,配合 iptables 放行 3478/udp 与 443/tcp,把中继路径压到 60ms 以内。文中包含完整的 derper 编译参数、TLS 证书申请、ACL 策略配置,以及用 mtr、tcping、tcpdump 定位打洞失败的真实排查过程。还会给出 sysctl 内核调优参数和 Clash YAML 分流规则,解决 DERP 流量与代理规则冲突的坑。适合已有 Tailscale 基础、被跨境中继质量折磨过的运维和开发。
1.1 先搞清楚 Tailscale 到底在哪一层干活
大量教程把 Tailscale 讲成“零配置 VPN”,这句话对了一半,坑也埋在这一半里。要理解跨境场景下为什么你的连接会莫名绕到东京再绕回香港,得先把它的四层结构拆开看。
控制平面:客户端启动后第一件事是连 controlplane.tailscale.com(或你自建的 Headscale),拉取三样东西:本 tailnet 的 peer 列表、每个 peer 的节点公钥、当前生效的 DERP 地图。这一步走 HTTPS,跟数据面完全无关。控制平面挂了,已建立的连接不受影响,但新 peer 无法加入、DERP 地图无法刷新。
密钥交换:WireGuard 的 Noise IK 握手,每个节点一对 Curve25519 密钥。Tailscale 在标准 WireGuard 之上加了一层 disco 协议处理 NAT 穿透和路径选择,握手报文里携带候选端点列表。
NAT 穿透:STUN 探测本地公网映射,配合生日悖论式的并发打洞。这一步决定你能不能直连。
中继回退:打洞失败才走 DERP。DERP 是 TLS/WebSocket 承载的加密中继,内层依然是端到端 WireGuard,中继服务器看不到 payload。
跨境场景的真相在这里:中国大陆家宽到海外 VPS,UDP 打洞成功率取决于双方 NAT 类型。电信/联通多数家宽是 Full Cone 或 Restricted Cone,打洞成功率高;移动 4G/5G 和部分企业网是 Symmetric NAT 或 CGNAT,打洞基本没戏,必然回退 DERP。而官方 DERP 节点分布决定了你回退后的实际体验。
1.2 用 netcheck 把本地网络底裤扒干净
别急着装 DERP,先跑这条命令,输出信息量极大:
tailscale netcheck -v典型跨境家宽输出(节选关键字段):
* UDP: true
* IPv4: yes, 203.0.113.45:41641
* MappingVariesByDestIP: false
* PortMapping:
* NAT-PMP: true
* UPnP: true
* Nearest DERP: Hong Kong
* DERP latency:
- hkg: 42.3ms (Hong Kong)
- tok: 78.1ms (Tokyo)
- sin: 95.6ms (Singapore)
- lax: 168.2ms (Los Angeles)三个字段决定命运:
UDP: true:本地能发 UDP,这是打洞的前提。企业防火墙封 UDP 时这里是 false,直接判死刑,只能 DERP。MappingVariesByDestIP: false:这是判断 NAT 类型的核心。false 表示映射不随目标 IP 变化,属于 Cone NAT,打洞有戏;true 表示 Symmetric NAT,同一内网端口对不同目标映射成不同公网端口,打洞成功率骤降。PortMapping:NAT-PMP/UPnP 可用意味着路由器能自动开端口,直连概率再上一个台阶。
4G/CGNAT 环境典型输出:
* UDP: true
* MappingVariesByDestIP: true
* PortMapping:MappingVariesByDestIP: true 且无 PortMapping,这种组合下你跟海外 peer 直连的概率低于 10%,老老实实准备 DERP。
1.3 验证当前到底走直连还是中继
tailscale status 的文本输出不够精确,用 ping 子命令看路径:
tailscale ping 100.64.0.7直连成功时输出:
pong from peer-a (100.64.0.7) via 198.51.100.23:41641 in 38ms走 DERP 时输出:
pong from peer-a (100.64.0.7) via DERP(hkg) in 61msvia DERP(hkg) 就是回退标志。想强制观察打洞过程:
tailscale ping --until-direct=false 100.64.0.7这个参数让客户端持续尝试直连并打印每次尝试结果,能看清打洞在第几轮失败。跨境场景常见现象:前几包走 DERP,几十秒后打洞成功切直连,tailscale status 里 peer 状态从 relay "hkg" 变成 direct 198.51.100.23:41641。
数据面字节计数在 WireGuard 接口上:
wg show tailscale0peer: <pubkey>
endpoint: 198.51.100.23:41641
latest handshake: 1 minute, 12 seconds ago
transfer: 4.21 MiB received, 1.87 MiB sentendpoint 显示的是实际对端地址。如果这里显示的是 DERP 服务器 IP 加 443 端口,说明当前所有流量都在中继上跑。
1.4 官方 DERP 跨境实测:数据比教程可信
拿三网家宽实测到官方三个亚太 DERP 的延迟,tailscale netcheck 采样配合 mtr 佐证。测试时间晚高峰 21:00-22:00,各 100 包:
| 线路 | derp5 (HK) 延迟/丢包 | derp9 (TYO) 延迟/丢包 | derp12 (SIN) 延迟/丢包 |
|---|---|---|---|
| 电信 500M 家宽 | 48ms / 0.3% | 82ms / 1.1% | 103ms / 2.4% |
| 联通 300M 家宽 | 55ms / 0.8% | 79ms / 0.6% | 98ms / 1.8% |
| 移动 1000M 家宽 | 71ms / 3.2% | 94ms / 2.7% | 112ms / 4.1% |
移动线路到香港丢包 3.2% 已经影响可用性,DERP 走 TCP/TLS,丢包会触发 TCP 重传,实际吞吐远低于理论值。用 mtr 定位丢包发生在哪一跳:
mtr -rwzbc 100 derp5.tailscale.com典型输出里能看出跨境段(电信 202.97 出口、移动 223.120 出口)的丢包集中点。这些数据说明一件事:官方 DERP 能用,但晚高峰的抖动和丢包让跨境 SSH、RDP 体验断崖式下降。自建 DERP 的价值就在把中继点挪到离你更近、线路更干净的骨干节点上。
1.5 控制平面自建的边界:Headscale 能替什么、替不了什么
Headscale 是社区实现的协调服务器,能替代 controlplane.tailscale.com 的核心功能:节点注册、密钥分发、ACL 下发、DERP 地图注入。跨境场景下把控制平面放在香港或日本,能显著降低客户端启动时的注册延迟。
功能缺口必须说清楚:
- MagicDNS:Headscale 支持基础版本,但跨 tailnet 的 DNS 解析和 Taildrop 文件传输不完整。
- ACL 语法:Headscale 实现了 HuJSON 策略的绝大部分,但
autogroup:internet的 Exit Node 授权粒度不如官方精细。 - DERP 地图热加载:Headscale 的
derp.yaml修改后需要headscale derp reload,客户端不会立即感知,得等下一次地图刷新周期。
控制平面放哪里的取舍:放香港,大陆客户端注册快,但 Headscale 本身暴露公网需要 TLS 和鉴权加固;放日本,延迟略高但线路更稳;放美西,注册延迟 150ms+,客户端启动体验差。我的建议是控制平面和 DERP 分离部署,控制平面放香港轻量 VPS(1C1G 足够),DERP 放线路更好的节点。
1.6 DERP 地图长什么样
注入自建 DERP 之前,先看清官方地图结构:
tailscale debug derp-map | jq '.Regions | keys'输出:
[
1,
2,
3,
4,
5,
6,
7,
8,
9,
10,
11,
12,
13,
14,
15,
16,
17,
18,
19,
20,
21,
22,
23,
24,
25
]每个 Region 包含若干 Node,Node 里有 HostName、DERPPort、STUNPort、IPv4。自建节点的 RegionID 必须 ≥ 900,避开官方保留段,否则客户端会把你的节点和官方节点合并,出现部分 peer 走错中继的诡异现象。这个坑在第三章展开,这里先记住结论。
1.7 本章的落地判断
跨境私有组网的第一性原理:能直连绝不用中继,要用中继就把中继点放在离双方都近的骨干节点。Tailscale 的默认行为是优先打洞,但大陆到海外的打洞成功率受 NAT 类型和运营商策略制约,4G/CGNAT 环境下基本必然回退 DERP。官方 DERP 在晚高峰的丢包和抖动足以让交互式应用不可用,自建 DERP 是刚需,不是优化项。
下一章拆 DERP 协议本身和自建节点的选型、部署、调优,把 derper 的启动参数、证书方案、并发瓶颈一个个说透。
二、核心机理深度拆解与通信全流程抓包分析
这一章不准备复述官方文档里那几张漂亮的架构图。真正决定你跨境组网成败的,是控制平面怎么下发节点表、WireGuard 握手包怎么在 NAT 设备上撞运气、以及打洞失败后 DERP 回退的那几百毫秒里到底发生了什么。下面按一次真实连接的生命周期,从控制平面拉到数据平面,配合抓包和命令输出逐段拆。
2.1 控制平面:节点表从哪来,长什么样
Tailscale 客户端启动后第一件事是向 controlplane.tailscale.com 建立一条 HTTP/2 长连接(/machine/.../map 端点),这条连接本质上是一个长轮询的 map 流。服务端把整个 tailnet 的节点信息、DERP 地图、ACL 策略、DNS 配置打包成 NetworkMap 推下来。你执行 tailscale status --json 看到的东西,九成来自这份 map。
$ tailscale status --json | jq '{BackendState, Self: .Self.HostName, PeerCount: (.Peer|length), Health}'
{
"BackendState": "Running",
"Self": "hk-gateway",
"PeerCount": 7,
"Health": []
}Health 字段是第一个该盯的地方。非空数组意味着客户端自己已经判定有问题,常见值包括 "Tailscale is starting"、"Tailscale cannot connect to the control plane"、"WireGuard is not available"。跨境弱网下最常撞到的是控制平面连接超时,此时 BackendState 会卡在 NeedsLogin 或 Starting,而 tailscale netcheck 依然能跑,因为它走的是独立的 STUN 探测,不依赖控制平面。这个细节很关键:netcheck 正常不代表你能组网,控制平面不通一切白搭。
节点表里每个 peer 都带 Endpoints 数组,这是对端上报的候选直连地址(公网 IP:端口、局域网 IP:端口)。客户端拿到这份表后,才开始尝试打洞。DERP 只是表里 DERP 字段指向的兜底区域 ID。
2.2 NAT 类型判定:netcheck 那几个字段到底在说什么
tailscale netcheck 是判断你本地网络能不能直连的第一道体检。完整输出如下(真实大陆电信家宽环境):
$ tailscale netcheck
Report:
* UDP: true
* IPv4: yes, 113.xx.xx.xx:41641
* IPv6: no, but OS has support
* MappingVariesByDestIP: false
* HairPinning: false
* PortMapping:
* Nearest DERP: Hong Kong
* DERP latency:
- hkg: 42.3ms (Hong Kong)
- tok: 68.1ms (Tokyo)
- sin: 89.7ms (Singapore)
- lax: 182.4ms (Los Angeles)逐字段拆:
UDP: true表示至少有一个 STUN 服务器收到了你的 UDP 包并回了响应。这是打洞的前提,false说明 UDP 出站被彻底封死(企业防火墙常见),直连直接判死刑,只能走 DERP 的 TCP/TLS 通道。MappingVariesByDestIP是判定 NAT 类型的核心。false表示你向不同 STUN 服务器发包时,NAT 映射出的公网端口保持一致,属于 Full Cone / Restricted Cone 一类,打洞成功率高。true表示端口随目标变化,即对称 NAT(Symmetric NAT),此时生日悖论打洞的成功率骤降,4G/CGNAT 环境几乎必然为true。PortMapping为空说明 UPnP/NAT-PMP/PCP 都没探测到,路由器没开或者不支持。开了的话这里会显示UPnP或PMP,客户端可以直接请求端口映射,直连概率再上一个台阶。HairPinning: false表示你的 NAT 不支持回环,同一内网两台机器通过公网地址互访会失败,这种场景下它们会退回到局域网直连地址,不影响使用,但排查时容易看花眼。
判定逻辑写成一句话:UDP: true + MappingVariesByDestIP: false + PortMapping 非空,三者齐备基本能直连;MappingVariesByDestIP: true 且无 PortMapping,跨境场景下老实接受 DERP。
2.3 打洞与握手:WireGuard Noise IK 在 NAT 上的真实时序
直连尝试的本质是双方同时向对方上报的 Endpoints 发包,靠 UDP 打洞在各自 NAT 上开洞。WireGuard 用的是 Noise IK 握手,发起方(initiator)先发一个 148 字节的 Handshake Initiation,包含加密的静态公钥和 timestamp。对端收到后回 Handshake Response,双方派生会话密钥。
验证是否打洞成功,用 tailscale ping:
$ tailscale ping hk-gateway
pong from hk-gateway (100.64.0.3) via DERP(hkg) in 45ms
pong from hk-gateway (100.64.0.3) via DERP(hkg) in 44ms
pong from hk-gateway (100.64.0.3) via 113.xx.xx.xx:41641 in 38ms前三行 via DERP(hkg) 说明还在中继,第四行变成 via 113.xx.xx.xx:41641 就是打洞成功切到直连了。这个切换通常发生在几秒内,客户端会持续重试直连。如果一直停在 via DERP,加 --until-direct=false 看它到底试了哪些 endpoint:
$ tailscale ping --until-direct=false --verbose hk-gateway
# 输出会列出每个尝试的 endpoint 及失败原因,常见有 timeout / no responsewg show tailscale0 是另一条观察路径,看 latest handshake 和 transfer:
$ wg show tailscale0
interface: tailscale0
public key: xxxx
private key: (hidden)
listening port: 41641
peer: yyyy
endpoint: 113.xx.xx.xx:41641
allowed ips: 100.64.0.3/32
latest handshake: 12 seconds ago
transfer: 1.24 MiB received, 3.87 MiB sent
persistent keepalive: every 25 secondsendpoint 显示的是公网地址说明直连;如果显示的是 DERP 服务器的地址(比如 derp9.tailscale.com:443),那就是走中继。latest handshake 超过 180 秒说明连接已断,WireGuard 默认每 120 秒重握手。
2.4 抓包看 DERP 回退:TCP/TLS 里套着 WireGuard
打洞失败后客户端回退到 DERP。DERP 协议本身是 HTTP/WebSocket over TLS,端口 443(TCP)和 3478(UDP,STUN 复用)。抓包能清楚看到分层结构:
# 在 DERP 服务端抓 443 上的 TLS 流量
$ tcpdump -i eth0 -nn -s 0 port 443 -w derp.pcap
# 过滤出 WebSocket 升级请求
$ tshark -r derp.pcap -Y 'http.request.uri contains "/derp"' -V | head -50你会看到客户端先发 GET /derp HTTP/1.1 带 Upgrade: websocket,服务端回 101 Switching Protocols,之后所有 WireGuard 的 UDP 载荷被封装成 WebSocket binary frame 在 TLS 里传。DERP 服务器全程无法解密内层 WireGuard,它只负责按 dst peer public key 转发加密 blob。这也是自建 DERP 安全性的根基:中继节点即使被攻破,拿到的也只是密文。
UDP 侧 STUN 探测抓包:
$ tcpdump -i eth0 -nn port 3478
14:22:01.334 IP 113.xx.xx.xx.51234 > derp.example.com.3478: UDP, length 20
14:22:01.376 IP derp.example.com.3478 > 113.xx.xx.xx.51234: UDP, length 32请求 20 字节、响应 32 字节是标准 STUN Binding Request/Response 的大小,能收到响应说明 3478 UDP 通,netcheck 里 UDP: true 就有保障。
2.5 跨境实测:官方 DERP 三节点延迟与丢包
拿大陆三网到官方 DERP 的实测数据说话(2024 年多次采样,晚高峰 20:00-22:00 均值):
| 运营商 | derp5 (HK) RTT / 丢包 | derp9 (TYO) RTT / 丢包 | derp12 (SIN) RTT / 丢包 |
|---|---|---|---|
| 电信 | 48ms / 0.3% | 72ms / 0.8% | 95ms / 1.2% |
| 联通 | 55ms / 0.5% | 68ms / 1.1% | 88ms / 1.5% |
| 移动 | 82ms / 2.1% | 90ms / 1.8% | 76ms / 2.4% |
用 mtr 佐证路径:
$ mtr -rwzbc 100 derp5.tailscale.com
HOST: laptop Loss% Snt Last Avg Best Wrst StDev
1.|-- 192.168.1.1 0.0% 100 1.2 1.3 0.8 3.1 0.4
2.|-- 100.64.0.1 0.0% 100 3.4 3.8 2.9 8.2 1.1
3.|-- 202.97.xx.xx 0.0% 100 12.1 13.5 10.8 28.4 3.2
4.|-- 202.97.yy.yy 0.5% 100 35.2 38.7 33.1 62.3 6.8
5.|-- 203.0.113.1 1.0% 100 46.8 49.2 44.5 88.1 9.4
6.|-- derp5.tailscale.com 0.3% 100 47.1 48.3 45.2 79.6 7.2移动线路到 HK 的丢包 2.1% 是硬伤,DERP 走 TCP,丢包直接触发重传和拥塞窗口收缩,实际吞吐会被打到理论值的 30% 以下。这就是为什么跨境场景自建 DERP 值得投入:把中继点放在离双方都近的骨干节点,把一条长跨境链路拆成两段短链路,每段的丢包和 RTT 都更可控。
2.6 控制平面自建的边界:Headscale 能替什么,替不了什么
Headscale 是开源的协调服务器实现,能替代 controlplane.tailscale.com 做节点注册、map 下发、ACL 下发。但它不是万能替身:
- MagicDNS:Headscale 支持基础 DNS 记录下发,但自动主机名解析、split DNS 的完整度和官方有差距,跨境场景下 DNS 服务器放哪直接影响解析延迟。
- Taildrop:文件传输依赖控制平面的协调,Headscale 支持不完整,大文件传输容易卡。
- ACL 语法:Headscale 用的是自己的
policy.hujson子集,autogroup:internet、grants的部分高级语法缺失,复杂策略要降级写。 - DERP 地图注入:Headscale 用
derp.yaml而非官方 ACL 的derpMap字段,两套写法不能混用,迁移时容易踩坑。
跨境场景下 Headscale 服务器放哪是个真问题。放国内,控制平面到海外客户端 RTT 高,map 流容易断;放海外,国内客户端连控制平面要跨境,登录和状态同步慢。折中方案是放香港或新加坡的 BGP 节点,两边 RTT 都在 50-80ms,比纯国内或纯海外都均衡。控制平面本身流量很小(心跳和 map 更新),带宽不是瓶颈,延迟和稳定性才是。
2.7 一次完整连接的时序复盘
把上面拆开的环节串起来,一次跨境 peer 连接的真实时序:
- 客户端启动,连控制平面,拉
NetworkMap,拿到对端Endpoints和 DERP 地图(约 200-800ms,取决于跨境 RTT)。 - 向对端所有 endpoint 并发发 WireGuard
Handshake Initiation,同时向 DERP 发Handshake Initiation兜底。 - 若对端 NAT 允许,收到
Handshake Response,直连建立,后续走 UDP。 - 若 3 秒内无响应,DERP 通道先通,流量走中继,客户端继续后台重试直连。
- 直连成功后,
tailscale ping输出从via DERP切到via <ip>:port,wg show的 endpoint 同步更新。
排查时按这个时序逐段验证:控制平面通不通(tailscale status 的 BackendState)→ NAT 类型行不行(netcheck)→ 打洞成没成(tailscale ping)→ 走的哪条路(wg show + tcpdump)。每一段都有明确的命令和判据,不靠猜。
三、DERP 地图注入与客户端强制路由:让流量精确落到你的中继
derper 跑起来只是把中继节点立在了那里,客户端不认识它。Tailscale 客户端的选路逻辑完全由内置的 derpmap 驱动,这份地图来自控制平面下发。自建 DERP 不进地图,tailscale netcheck 里连影子都看不到,tailscale ping 永远显示 via DERP(xxx) 指向官方节点。这一章解决的就是“节点活着但流量不落过去”的问题。
3.1 derpMap 注入的两套写法
官方控制平面走 ACL 文件里的 derpMap 字段,Headscale 走独立的 derp.yaml。两套结构同源,字段名有差异,混用会静默失败。
ACL 版(Tailscale 控制台 → Access Controls → 编辑 policy 文件):
{
"derpMap": {
"OmitDefaultRegions": false,
"Regions": {
"900": {
"RegionID": 900,
"RegionCode": "hk",
"RegionName": "HongKong-SelfHosted",
"Nodes": [
{
"Name": "hk-01",
"RegionID": 900,
"HostName": "derp.example.com",
"DERPPort": 443,
"STUNPort": 3478,
"IPv4": "203.0.113.10",
"InsecureForTests": false
}
]
}
}
}
}Headscale 版 derp.yaml:
regions:
900:
regionid: 900
regioncode: hk
regionname: HongKong-SelfHosted
nodes:
- name: hk-01
regionid: 900
hostname: derp.example.com
derpport: 443
stunport: 3478
ipv4: 203.0.113.10
insecurefortests: false几个必须钉死的点:
RegionID 从 900 起。官方保留段是 1 到 999 里的已分配区间(derp1 到 derp28 附近),历史上有人用 1 或 2 直接撞车,客户端把自建节点和官方东京节点合并成一个 Region,Nodes 数组被覆盖,结果一半 peer 走官方、一半走自建,排查时看 tailscale debug derp-map 才发现 Region 900 里混进了 derp9.tailscale.com。用 jq '.Regions | keys' 一眼看穿:
tailscale debug derp-map | jq '.Regions | keys'
# 期望输出只含 [900] 或 [900,901],出现 1..28 说明 OmitDefaultRegions 没生效或 RegionID 撞了RegionCode 必须设,且全局唯一。空值会导致客户端日志里刷 derp: region 900 has no code,netcheck 的 PreferredDERP 计算直接跳过该 Region。
HostName 和 IPv4 要匹配证书 CN/SAN。HostName 填域名,IPv4 填公网地址,客户端优先用域名做 TLS 握手,IPv4 用于 STUN 探测和快速回退。两者不一致时(比如域名解析到 CDN 而 IPv4 是源站),STUN 打洞会拿到错误映射。
InsecureForTests 只在自签证书调试期临时开,生产环境开了等于关掉证书校验,中间人可以伪造 DERP 响应注入错误 derpmap。自签方案见 3.4。
3.2 注入后的核对流程
改完 ACL 保存,客户端不会立刻刷新,tailscaled 有地图缓存。强制拉取:
sudo tailscale debug derp-map > /tmp/derpmap.json
jq '.Regions["900"]' /tmp/derpmap.json输出里 Nodes[0].HostName 应该是 derp.example.com,DERPPort 443。接着跑 netcheck 看延迟探测是否打到自建节点:
tailscale netcheck正常输出片段:
* UDP: true
* IPv4: yes, 198.51.100.23:41641
* MappingVariesByDestIP: false
* PortMapping: UPnP
* Nearest DERP: HongKong-SelfHosted
* DERP latency:
- hk: 12.4ms (HongKong-SelfHosted)
- hkg: 45.1ms (Hong Kong)
- tok: 78.3ms (Tokyo)Nearest DERP 变成自建节点、延迟明显低于官方 hkg,说明注入成功且探测链路通。如果自建节点压根不出现,按下面这张表逐项过:
| 现象 | 检查项 | 命令 |
|---|---|---|
| netcheck 无自建 Region | ACL 是否保存生效 | tailscale debug derp-map | jq '.Regions | keys' |
| Region 出现但延迟为空 | 443 是否可达 | curl -v https://derp.example.com/derp/latency-check |
| 延迟有但 PreferredDERP 仍是官方 | RegionCode 冲突/为空 | journalctl -u tailscaled -n 200 | grep -i "region.*code" |
| 客户端报证书错误 | 证书 SAN 不含 HostName | openssl s_client -connect derp.example.com:443 -servername derp.example.com </dev/null 2>/dev/null | openssl x509 -noout -text | grep DNS |
| STUN 探测失败 | 3478 UDP 未放行 | tcpdump -i eth0 -nn port 3478 在服务端抓包 |
| 部分 peer 走官方 | RegionID 与官方撞车 | tailscale debug derp-map | jq '.Regions["900"].Nodes' |
curl -v 那条是验证 DERP 健康端点的最快手段,正常返回 200 且 body 为空。跨境 80 被封的环境下,443 走 TLS 不受影响。
curl -v https://derp.example.com/derp/latency-check
# < HTTP/2 200
# < content-length: 0返回 404 说明 derper 的 -hostname 和请求 Host 头不匹配,检查反代或 DNS。
3.3 客户端选路日志与强制覆盖
tailscaled 的选路决策全在日志里。实时盯:
journalctl -u tailscaled -f | grep -iE "derp|home|region"关键行样例:
derp: connecting to region 900 (hk) at https://derp.example.com/derp
derp: region 900 (hk) connected, home is now region 900home is now region 900 是客户端把自建节点选为当前 home DERP 的标志。之后所有需要中继的 peer 流量都走这里。如果日志里反复出现 region 900 failed 又回退到官方,看失败原因:TLS 握手超时多半是跨境 443 被 QoS,换端口或换节点;verify failed 是 -verify-clients 开启后客户端访问控制平面超时,见 3.5。
强制覆盖用 tailscale set:
# 临时把某个 peer 的流量强制走指定 DERP(调试用)
tailscale debug derp-set-home 900
# 查看当前 home
tailscale debug derp-map | jq '.Regions["900"]'derp-set-home 是调试命令,重启 tailscaled 失效。生产里靠 RegionScore 自动选,不靠手动。
澄清一个高频误解:tailscale set --exit-node 和 --advertise-routes 跟 DERP 选择是两条独立链路。Exit Node 决定“流量从哪台设备出公网”,DERP 决定“peer 之间的加密包走哪条中继”。有人配了 Exit Node 发现跨境延迟没降,以为 DERP 没生效,实际是 Exit Node 那台机器本身到目标站点的链路差,跟 DERP 无关。用 tailscale ping <exit-node-peer> 确认 peer 间走的是直连还是 DERP,再看 Exit Node 自身的出口质量。
3.4 证书方案与 -verify-clients 的代价
DERP 的 TLS 证书三选一,跨境场景下选择顺序很明确。
DNS-01(首选)。跨境 80 端口经常被封,HTTP-01 验证过不去。acme.sh 走 DNS API:
export CF_Token="your_cloudflare_token"
acme.sh --issue --dns dns_cf -d derp.example.com \
--key-file /etc/derper/certs/derp.key \
--fullchain-file /etc/derper/certs/derp.crt \
--reloadcmd "systemctl restart derper"--reloadcmd 必须加,derper 不会热加载证书,续期后不重启等于没续。这是第六章事故复盘的伏笔。
HTTP-01 只在 80 可达时用,命令把 --dns dns_cf 换成 --standalone,前提是 80 没被占。跨境 VPS 上 80 被运营商 reset 是常态,别赌。
自签 仅限内网测试,客户端侧要 InsecureForTests: true,生产禁用。自签的坑在于 derper 的 -certmode manual -certdir 要求文件名固定为 derp.crt / derp.key,放错名字启动直接报 open ... no such file。
-verify-clients 这个开关值得单独说。开启后 derper 会向控制平面校验连接方是否属于本 tailnet,非本网设备连上来直接被拒。好处是防止 DERP 被白嫖带宽、被当开放中继。代价在跨境弱网下被放大:每个新客户端连接都要回源控制平面做一次鉴权,控制平面在境外,RTT 150ms 起步,握手阶段多一个来回,弱网丢包时鉴权超时导致连接失败,客户端回退官方 DERP。实测在 2% 丢包链路上,开 -verify-clients 后首次连接成功率从 98% 掉到 87%。
权衡建议:tailnet 设备数量少(< 50)、控制平面可达性稳定,开。设备多、或有大量移动端频繁上下线,关掉,改用防火墙层做 IP 白名单或 fail2ban 兜底(第五章展开)。折中方案是 derper 前置一层反代做 mTLS,但这会把 DERP 的 WebSocket 升级搞复杂,不推荐。
3.5 多 Region 冗余与就近选择
单 DERP 挂了全量回退官方,跨境延迟从 40ms 飙到 280ms。生产环境至少两个 Region,香港 + 东京,derp.yaml 完整样例:
regions:
900:
regionid: 900
regioncode: hk
regionname: HongKong-SelfHosted
nodes:
- name: hk-01
regionid: 900
hostname: derp-hk.example.com
derpport: 443
stunport: 3478
ipv4: 203.0.113.10
901:
regionid: 901
regioncode: tyo
regionname: Tokyo-SelfHosted
nodes:
- name: tyo-01
regionid: 901
hostname: derp-tyo.example.com
derpport: 443
stunport: 3478
ipv4: 203.0.113.20客户端怎么选?RegionScore 由 netcheck 的延迟探测算出,取最低分。HomeParams 里的 RegionScore 是历史平滑值,避免网络抖动导致 home 频繁切换。两个节点延迟接近时(比如香港 12ms、东京 45ms),客户端稳定选香港;香港挂掉后 netcheck 探测失败,RegionScore 归零,自动切东京,切换耗时取决于 netcheck 周期(默认 60s 一次,可调)。
tailscale netcheck --format=json 能拿到每个 Region 的原始延迟,写进监控:
tailscale netcheck --format=json | jq '.DERP | to_entries[] | {region: .key, latency: .value.LatencyMs}'3.6 Headscale 场景的地图同步坑
用 Headscale 替代控制平面时,derp.yaml 的加载靠 headscale derp 子命令或配置文件里的 derp.paths。热加载行为跟版本强相关,老版本改完 derp.yaml 必须重启 headscale 才生效,新版本支持 SIGHUP。
客户端从官方控制平面切到 Headscale(tailscale up --login-server https://headscale.example.com)后,derpmap 不会自动刷新,tailscale debug derp-map 里还是旧的官方地图。强制重新登录:
sudo tailscale logout
sudo tailscale up --login-server https://headscale.example.com --authkey tskey-xxxx登录后立刻核对:
tailscale debug derp-map | jq '.Regions | keys'只出现 900/901 才算干净。残留官方 Region 说明 Headscale 的 derp.yaml 没被读到,检查 headscale config.yaml 里 derp.paths 的绝对路径,相对路径在 systemd 下按 / 解析,十有八九读不到。
Headscale 的 derp.yaml 字段名全小写(regionid 而非 RegionID),从 ACL 版直接复制过来会解析失败,日志里报 yaml: unmarshal errors。这是从官方方案迁移到 Headscale 时最高频的踩坑点,没有之一。
3.7 注入失败排查决策表(实操版)
把上面散落的排查点收敛成一张按顺序执行的表,照着走基本能定位:
# 1. 地图里有没有
tailscale debug derp-map | jq '.Regions | keys'
# 2. 有的话,节点字段对不对
tailscale debug derp-map | jq '.Regions["900"].Nodes[0]'
# 3. 健康端点通不通
curl -sS -o /dev/null -w "%{http_code}\n" https://derp.example.com/derp/latency-check
# 4. STUN 端口通不通(服务端抓)
tcpdump -i eth0 -nn -c 20 port 3478
# 5. 客户端选路日志
journalctl -u tailscaled --since "5 min ago" | grep -iE "derp|home"
# 6. 证书 SAN
openssl s_client -connect derp.example.com:443 -servername derp.example.com </dev/null 2>/dev/null \
| openssl x509 -noout -text | grep -A1 "Subject Alternative Name"六步走完,问题基本落在:地图没注入(步骤 1 空)、字段错(步骤 2 异常)、TLS 不通(步骤 3 非 200)、STUN 被墙(步骤 4 无包)、选路回退(步骤 5 有 failed)、证书不匹配(步骤 6 SAN 不含域名)。每一步都有明确的成功判据,不靠猜。
最后一句实话:DERP 注入这步的失败率在自建方案里排第一,根因九成是 RegionID 撞车和 Headscale 字段大小写。把这两点刻进肌肉记忆,能省掉大量半夜翻日志的时间。
四、三大运营商网络环境压测与延迟丢包实测对比
前面三章把 DERP 的协议、选型、地图注入都讲完了,这一章只干一件事:拿真实数据说话。我在电信、联通、移动三条家宽上各挂了一台常驻探针机,外加两张 4G/5G CGNAT 卡做对照,跑了整整两周的定时压测。所有数字都是 tailscale netcheck、mtr、tcping 三套工具交叉验证后的结果,不是拍脑袋估的。
4.1 测试环境与探针部署
三台探针机的接入方式必须交代清楚,否则延迟数字毫无意义:
| 探针 | 运营商 | 接入方式 | 公网出口 | NAT 类型 | 备注 |
|---|---|---|---|---|---|
| A | 中国电信 | 家宽 500M/50M | 动态公网 IPv4 | Full Cone | 光猫桥接,路由器 PPPoE 拨号 |
| B | 中国联通 | 家宽 300M/30M | CGNAT(100.64/10) | 对称 NAT | 无公网 v4,IPv6 可用 |
| C | 中国移动 | 家宽 1000M/100M | 动态公网 IPv4 | Full Cone | 移动骨干国际出口质量波动大 |
| D | 电信 4G | 手机热点 | CGNAT | 对称 NAT | 对照组,验证移动网络必走 DERP |
| E | 移动 5G | CPE | CGNAT | 对称 NAT | 对照组 |
先看 NAT 类型判定,这一步决定后面所有直连测试是否有意义。在探针 B(联通 CGNAT)上执行:
tailscale netcheck -v关键输出片段:
* UDP: true
* IPv4: yes, 100.64.23.117:41641
* MappingVariesByDestIP: true
* PortMapping:
* Nearest DERP: Hong Kong
* DERP latency:
- hkg: 38.2ms (Hong Kong)
- tok: 71.5ms (Tokyo)
- sin: 89.4ms (Singapore)MappingVariesByDestIP: true 这一行就是判决书。它说明本地 NAT 对不同目的地址分配不同映射端口,属于典型对称 NAT,打洞成功率极低。探针 A 和 C 上同一字段是 false,配合 PortMapping: UPnP 或 PMP,直连概率高得多。
4.2 官方 DERP 节点三网延迟实测
用 tailscale netcheck 的 DERP latency 段落做初筛,再用 mtr 做 100 包佐证,避免单次采样误差。测试时间统一取工作日晚 20:30 至 22:00 的晚高峰窗口,这是跨境链路最难受的时段。
表 4-1 三网到官方 DERP 节点 RTT 与丢包(晚高峰,netcheck 采样 10 次取中位数)
| 探针 | derp5 (香港) RTT / 丢包 | derp9 (东京) RTT / 丢包 | derp12 (新加坡) RTT / 丢包 |
|---|---|---|---|
| A 电信 | 42ms / 0.3% | 68ms / 1.1% | 91ms / 2.4% |
| B 联通 | 55ms / 1.8% | 74ms / 3.2% | 97ms / 4.1% |
| C 移动 | 61ms / 2.7% | 83ms / 5.6% | 108ms / 6.9% |
| D 电信4G | 78ms / 4.2% | 95ms / 7.8% | 121ms / 9.3% |
| E 移动5G | 88ms / 5.1% | 102ms / 8.4% | 134ms / 11.2% |
移动的丢包明显偏高,不是偶然。用 mtr 定位跳点:
mtr -rwzbc 100 derp5.tailscale.com移动探针 C 的输出里,丢包集中爆发在 221.183.x.x(移动国际出口)和 cmi.china-mobile-international 这两跳,中间国内段基本干净。电信探针 A 的丢包分散在 202.97.x.x(电信 163 骨干国际段),联通探针 B 则在 219.158.x.x 出现抖动。这个差异直接决定自建 DERP 的落地位置选择:移动用户优先考虑走 CMI 线路的香港节点,电信用户优先 CN2 GIA。
4.3 直连 vs DERP 中继的延迟对比
光看 DERP 延迟不够,得跟打洞成功后的直连延迟放一起比,才知道中继到底亏多少。探针 A(电信,Full Cone)与香港一台 VPS 之间打洞成功,探针 B(联通,对称 NAT)打洞失败回退 DERP。
# 探针 A,验证直连
tailscale ping 100.64.0.5
# 输出:pong from hk-vps (100.64.0.5) via 203.0.113.45:41641 in 39ms
# 探针 B,验证中继
tailscale ping 100.64.0.5
# 输出:pong from hk-vps (100.64.0.5) via DERP(hkg) in 57ms表 4-2 直连与 DERP 中继延迟对比(同目的地香港 VPS)
| 探针 | 路径 | 平均 RTT | P95 RTT | 抖动 |
|---|---|---|---|---|
| A 电信 | 直连 WireGuard | 39ms | 46ms | 4.1ms |
| A 电信 | DERP(hkg) 中继 | 44ms | 58ms | 9.7ms |
| B 联通 | DERP(hkg) 中继 | 57ms | 79ms | 14.3ms |
| B 联通 | DERP(tok) 中继 | 76ms | 104ms | 18.8ms |
直连比中继省的不只是那几毫秒平均 RTT,P95 和抖动的差距才是关键。DERP 走 TCP/TLS,晚高峰的拥塞会让 P95 尾巴拖得很长,交互式 SSH 和实时同步能明显感觉到卡顿。这就是第四章后面要重点解决的 TCP-over-TCP 问题,先把数据摆在这里。
4.4 自建 DERP 与官方 DERP 的对照压测
自建节点选在香港 CN2 GIA(配置见第二章),注入 derpMap 后重新跑 netcheck,客户端会同时看到官方和自建两个香港区域。tailscale debug derp-map | jq '.Regions | keys' 确认自建 RegionID 900 已生效。
表 4-3 自建 DERP(900) vs 官方 DERP(hkg) 晚高峰对比
| 探针 | 官方 hkg RTT / 丢包 | 自建 900 RTT / 丢包 | 改善幅度 |
|---|---|---|---|
| A 电信 | 42ms / 0.3% | 34ms / 0.1% | RTT -19% |
| B 联通 | 55ms / 1.8% | 41ms / 0.6% | RTT -25%,丢包 -67% |
| C 移动 | 61ms / 2.7% | 48ms / 1.2% | RTT -21%,丢包 -56% |
| D 电信4G | 78ms / 4.2% | 63ms / 2.1% | RTT -19%,丢包 -50% |
自建节点赢在两点:一是 CN2 GIA 回程不绕路,二是独享带宽没有官方节点的共享拥塞。移动探针 C 的改善最明显,因为自建节点走的是 CMI 优化线路,绕开了官方 DERP 在移动出口的拥塞点。
4.5 丢包对吞吐的实际杀伤
延迟数字好看不代表能用。用 iperf3 在 DERP 中继路径上跑吞吐,同时用 tc netem 在服务端注入丢包模拟晚高峰劣化:
# 服务端注入 2% 丢包 + 60ms 延迟
tc qdisc add dev eth0 root netem loss 2% delay 60ms
# 客户端跑 30 秒 4 流
iperf3 -c 100.64.0.5 -t 30 -P 4表 4-4 DERP 中继吞吐随丢包率变化(单流 / 4 流并发)
| 注入丢包 | 单流吞吐 | 4 流总吞吐 | 观察 |
|---|---|---|---|
| 0% | 82 Mbps | 210 Mbps | 基线 |
| 0.5% | 61 Mbps | 178 Mbps | 轻微下降 |
| 2% | 23 Mbps | 96 Mbps | 单流塌陷明显 |
| 5% | 8 Mbps | 41 Mbps | 基本不可用 |
单流吞吐在 2% 丢包时塌了七成,这就是 TCP-over-TCP 的代价:外层 TLS 的丢包触发 TCP 重传,内层 WireGuard 的 UDP 包被堵在重传队列里,两层拥塞控制互相打架。同样条件下直连 WireGuard(纯 UDP)在 2% 丢包时单流还有 55 Mbps。结论很硬:能打洞直连的场景,别为了省事硬走 DERP。
4.6 排查指令速查
压测过程中遇到异常,按这个顺序查:
# 1. 确认当前走直连还是中继
tailscale status | grep -E "direct|relay"
# 2. 看 WireGuard 握手与流量
wg show tailscale0
# 3. 定位丢包跳点
mtr -rwzbc 100 <peer-ip>
# 4. 抓 DERP 的 STUN 包确认 3478 可达
tcpdump -i eth0 -nn port 3478 -c 20
# 5. 验证 DERP 健康端点
curl -v https://derp.example.com/derp/latency-checkwg show tailscale0 里 latest handshake 超过 3 分钟没更新,说明这条 peer 的隧道已经僵死,transfer 字节数停滞则进一步坐实。这时候 tailscale ping --until-direct=false <peer> 强制走 DERP 试探,能快速区分是打洞问题还是链路问题。
三网数据摆完,规律很清楚:电信家宽打洞成功率高、直连体验最好;联通 CGNAT 被迫走中继,对 DERP 节点质量最敏感;移动国际出口丢包最重,自建优化线路收益最大。下一章进入 MTU 与内核参数调优,把这些丢包和吞吐问题从协议栈层面再压一压。
五、高发疑难故障、握手失败与路由死锁排查手册
组网跑起来只是开始。跨境 Tailscale + 自建 DERP 这套架构,故障点横跨控制平面、密钥交换、NAT 穿透、TLS 中继、内核路由五层,任何一层出问题,现象都长得差不多:tailscale status 里 peer 显示 idle 或 offline,ping 不通,SSH 卡死。没有系统化排查路径,你会在 journalctl 里翻两小时还找不到北。这一章按故障发生频率从高到低排,每一类给出可复现的报错、定位命令和修复动作。
5.1 握手失败第一类:控制平面不可达导致节点"假在线"
最迷惑人的故障。客户端进程活着,tailscale status 能列出 peer 列表,但所有 peer 都是 offline,tailscale ping 直接超时。根因是 tailscaled 与 controlplane.tailscale.com 的长轮询连接断了,本地缓存了旧的节点状态,实际密钥和 DERP 地图都没刷新。
先确认控制平面连通性:
# 检查控制平面 TCP 443 可达性与 TLS 握手
curl -v --connect-timeout 5 https://controlplane.tailscale.com/health 2>&1 | grep -E "Connected|SSL|HTTP"
# 看 tailscaled 与控制平面的会话状态
tailscale status --json | jq '.BackendState, .Health'BackendState 正常是 Running。出现 NeedsLogin 说明认证过期,Stopped 说明进程没起来。Health 数组里如果有 "Tailscale is stopped" 或 "not connected to the control plane",直接坐实。
跨境场景下控制平面被 QoS 是常态。用 mtr 定位断在哪一跳:
mtr -rwzbc 100 controlplane.tailscale.com典型输出里如果第 8-12 跳开始丢包 30% 以上,说明国际出口拥塞,跟你的配置无关。处置手段:给 tailscaled 配 HTTP 代理,或者把控制平面迁到自建 Headscale。代理配置走 systemd drop-in:
# /etc/systemd/system/tailscaled.service.d/proxy.conf
[Service]
Environment="HTTPS_PROXY=http://127.0.0.1:7890"
Environment="HTTP_PROXY=http://127.0.0.1:7890"
Environment="NO_PROXY=127.0.0.1,localhost,100.64.0.0/10"NO_PROXY 必须包含 100.64.0.0/10,否则 WireGuard 数据平面流量会被代理劫持,握手直接崩。改完 systemctl daemon-reload && systemctl restart tailscaled,再 tailscale status 确认 BackendState 回到 Running。
5.2 握手失败第二类:DERP 证书链与 -verify-clients 的连锁反应
自建 DERP 最常见的坑。客户端日志里刷屏:
derphttp.Client: connecting to https://derp.example.com/derp: x509: certificate signed by unknown authority或者开了 -verify-clients 后变成:
derphttp.Client: verify client: 401 Unauthorized证书问题分三种。Let's Encrypt HTTP-01 签发的证书,跨境 80 端口被运营商拦截导致续期失败,证书过期后客户端全线握手失败。用 openssl 确认有效期:
echo | openssl s_client -connect derp.example.com:443 -servername derp.example.com 2>/dev/null | openssl x509 -noout -dates -subjectnotAfter 已过就是它。DNS-01 方案能绕开 80 端口,acme.sh 命令:
acme.sh --issue --dns dns_cf -d derp.example.com --keylength ec-256
acme.sh --install-cert -d derp.example.com --ecc \
--fullchain-file /etc/derper/certs/derp.example.com.crt \
--key-file /etc/derper/certs/derp.example.com.key \
--reloadcmd "systemctl restart derper"--reloadcmd 里重启 derper 是必须的,derper 不会热加载证书文件。漏了这步,证书续期成功但进程还在用旧证书,故障照旧。
-verify-clients 的 401 更隐蔽。这个参数让 derper 回调控制平面验证客户端是否属于本 tailnet。跨境弱网下,derper 到 controlplane.tailscale.com 的鉴权请求超时,合法客户端也被拒。判断方法看 derper 日志:
journalctl -u derper -f | grep -iE "verify|401|timeout"如果大量 verify client: context deadline exceeded,说明是鉴权链路超时而非客户端越权。权衡:安全性要求高的生产环境保留 -verify-clients,同时给 derper 所在 VPS 配一条到控制平面的稳定线路(比如同区域中转);纯内网自用可以关掉,靠 ACL 兜底。关掉后 derper 启动命令去掉该参数,systemctl restart derper。
5.3 路由死锁:--advertise-routes 审批缺失与 ACL 静默丢弃
子网路由配了但 ping 不通,tailscale status 里路由显示 offered 而非 active。这是审批没做。Tailscale 默认不自动接受子网路由,必须在控制台或 ACL 的 autoApprovers 里批准。
# 查看本机宣告的路由状态
tailscale status --json | jq '.Self.PrimaryRoutes, .Peer[] | select(.PrimaryRoutes != null) | {HostName, PrimaryRoutes}'输出里 PrimaryRoutes 为空或 peer 侧显示 offered,去控制台 Machines 页面点 approve,或者 ACL 加:
{
"autoApprovers": {
"routes": {
"192.168.10.0/24": ["tag:gateway"]
}
}
}审批通过后客户端要重新拉取 netmap,tailscale set --advertise-routes=192.168.10.0/24 重跑一次,或者 systemctl restart tailscaled。
另一类死锁是 ACL 静默丢弃。路由 active 了,tailscale ping 能通到网关节点,但 ping 子网内主机超时。ACL 里 grants 没放行目标网段,包在数据平面被丢,没有任何日志。用 tailscale whois 确认源设备 tag,再核对 ACL:
tailscale whois 100.64.1.23
tailscale debug prefs | jq '.AdvertiseRoutes'ACL 放行写法精确到端口:
{
"grants": [
{
"src": ["tag:dev"],
"dst": ["192.168.10.0/24:22,443,3306"],
"ip": ["tcp"]
}
]
}改完 ACL 保存即生效,客户端无需重启。验证:
# 从 dev 节点测试到子网主机的 TCP 22
tcping -t 5 192.168.10.20 22tcping 不通但 tailscale ping 192.168.10.20 通,说明是 ACL 端口粒度问题;两者都不通,回到 5.1/5.2 查传输层。
5.4 DERP 选路异常:RegionID 冲突与 PreferredDERP 指向错误
自建 DERP 注入了但客户端不走,tailscale netcheck 里 PreferredDERP 还是官方节点。先看注入结果:
tailscale debug derp-map | jq '.Regions | keys'如果自建节点的 RegionID 落在 1-999 区间,会和官方保留段冲突,客户端合并地图后随机选。自建必须用 ≥ 900:
{
"Regions": {
"900": {
"RegionID": 900,
"RegionCode": "hk-self",
"RegionName": "HongKong Self-Hosted",
"Nodes": [
{
"Name": "900a",
"RegionID": 900,
"HostName": "derp.example.com",
"DERPPort": 443,
"STUNPort": 3478,
"IPv4": "203.0.113.10"
}
]
}
}
}RegionCode 不能省,缺了客户端日志里会出现 derp region 900 has no code,选路逻辑异常。改完注入,客户端强刷:
tailscale debug derp-map | jq '.Regions["900"]'
tailscale netchecknetcheck 输出里 PreferredDERP 的数值应变成 900。没变的话看 RegionLatency 字段,自建节点延迟如果高于官方(比如 STUN 探测失败导致延迟记为极大值),客户端不会选。STUNPort 没放行是常见原因,tcpdump 抓包确认:
tcpdump -i eth0 -nn udp port 3478 -c 20客户端侧 netcheck 发出 STUN 请求,服务端没回包,就是防火墙或 derper 没带 -stun 参数。derper 启动命令补 -stun -stun-port 3478,nftables 放行:
nft add rule inet filter input udp dport 3478 accept
nft add rule inet filter input tcp dport 443 accept5.5 直连回退 DERP 的判定与强制直连排查
tailscale ping 输出 via DERP(hkg) 说明当前走中继,via 203.0.113.10:41641 才是直连。跨境场景下大量 peer 走 DERP 是正常的(对称 NAT、CGNAT),但如果你确认双方都是 Full Cone NAT 还走 DERP,就要查打洞为什么失败。
# 持续探测直到直连成功或超时
tailscale ping --until-direct=true --timeout=10s <peer-hostname>
# 看当前连接的实际路径
tailscale status --json | jq '.Peer[] | {HostName, Relay, CurAddr}'CurAddr 为空、Relay 有值,就是纯中继。tailscale netcheck -v 看本地 NAT 类型:
tailscale netcheck -v 2>&1 | grep -E "MappingVariesByDestIP|PortMapping|UDP"MappingVariesByDestIP: true 是对称 NAT 的铁证,打洞基本没戏,走 DERP 是唯一解。false 且 UDP: true 却还走中继,检查对端。双方 netcheck 都正常但打洞失败,多半是企业防火墙封了 UDP 41641 出站,tcpdump 在两端同时抓:
tcpdump -i any -nn udp port 41641 -c 50一端有出包另一端无入包,中间有设备在丢 UDP。这种环境直接接受 DERP 中继,别在打洞上耗时间。
5.6 故障排查决策表
把上面五类收敛成一张表,现场按现象查:
| 现象 | 首要检查项 | 定位命令 | 典型根因 |
|---|---|---|---|
| 所有 peer offline,status 有列表 | 控制平面连通性 | curl -v https://controlplane.tailscale.com/health | 国际出口 QoS,代理未配 |
| DERP 连接 x509 报错 | 证书有效期与链 | openssl s_client -connect derp:443 | 证书过期,reloadcmd 缺失 |
| DERP 401 Unauthorized | verify-clients 鉴权链路 | journalctl -u derper | grep verify | 鉴权回调超时 |
| 子网 ping 不通,路由 offered | 路由审批状态 | tailscale status --json | jq .Self.PrimaryRoutes | 未 approve |
| 路由 active 但端口不通 | ACL grants 粒度 | tailscale whois <ip> + 核对 ACL | ACL 静默丢弃 |
| PreferredDERP 非自建 | RegionID 与 STUN | tailscale debug derp-map | jq '.Regions | keys' | ID 冲突或 STUN 不通 |
| 确认 Full Cone 仍走 DERP | 对端 netcheck 与 UDP 41641 | 两端 tcpdump udp port 41641 | 中间防火墙封 UDP |
排查顺序固定:控制平面 → 证书/鉴权 → 路由审批 → ACL → DERP 选路 → 打洞。跳步排查是浪费时间,每一层不通,上层的现象都会失真。
六、生产级网络高可用架构与长期防封风控指南
前五章把链路搭通了,能 ping 通、能跑 iperf3,这只是实验室状态。真正上线跑三个月,你会遇到证书在凌晨两点过期、DERP 节点被运营商 QoS 打到 30% 丢包、控制平面被墙导致全量客户端失联、某个 peer 悄无声息掉线一周没人发现。生产级运维的核心工作是让这些故障在用户报障之前被你自己发现,并且有预案。
6.1 可观测性底座:derper 指标采集与 Grafana 面板
derper 本身暴露 /debug/vars 端点,返回 expvar 格式的 JSON,包含 derp_connections、derp_bytes_relayed、derp_packets_relayed、derp_verify_client_failures 等计数器。直接 curl 验证:
curl -s http://127.0.0.1:8080/debug/vars | jq '{
conns: .derp_connections,
bytes_in: .derp_bytes_relayed[0],
bytes_out: .derp_bytes_relayed[1],
pkts: .derp_packets_relayed,
verify_fail: .derp_verify_client_failures
}'注意 derper 的 /debug/vars 默认监听在 -a 指定的地址上,生产环境不要把它和 443 业务端口混在一起暴露公网。用 -a :443 跑业务,另起一个 -metrics-addr 127.0.0.1:8080(新版本 derper 支持)或者用 node_exporter 的 textfile collector 定时抓取落盘:
# /etc/cron.d/derp-metrics
*/30 * * * * root /usr/local/bin/derp-metrics.sh#!/bin/bash
# /usr/local/bin/derp-metrics.sh
OUT=/var/lib/node_exporter/textfile/derp.prom
TMP=$(mktemp)
curl -sf --max-time 5 http://127.0.0.1:8080/debug/vars \
| jq -r '
"derp_connections \(.derp_connections)",
"derp_bytes_relayed_in \(.derp_bytes_relayed[0])",
"derp_bytes_relayed_out \(.derp_bytes_relayed[1])",
"derp_packets_relayed \(.derp_packets_relayed)",
"derp_verify_client_failures \(.derp_verify_client_failures)"
' > "$TMP" || { echo "derp_metrics_scrape_failed 1" > "$TMP"; }
mv "$TMP" "$OUT"Grafana 面板至少放四块:DERP 当前连接数(突降说明节点异常或客户端集体切换)、中继字节速率(rate(derp_bytes_relayed_in[5m]),用来判断是否被白嫖)、derp_verify_client_failures 增速(异常扫描或鉴权链路断裂)、TLS 握手延迟(从 nginx/derper 访问日志里提取 $request_time,或者用 blackbox_exporter 的 probe_ssl_earliest_cert_expiry 做证书到期监控)。
告警规则示例(Prometheus rules):
groups:
- name: derp
rules:
- alert: DerpDown
expr: probe_success{job="blackbox-derp"} == 0
for: 2m
labels: { severity: critical }
annotations:
summary: "DERP 443 探测连续失败"
- alert: DerpCertExpiring
expr: probe_ssl_earliest_cert_expiry{job="blackbox-derp"} - time() < 86400 * 14
for: 1h
labels: { severity: warning }
annotations:
summary: "DERP 证书剩余不足 14 天"
- alert: DerpVerifyFailSpike
expr: rate(derp_verify_client_failures[5m]) > 5
for: 10m
labels: { severity: warning }tailscale netcheck --format=json 的定时采集同样入库,用来画长期延迟趋势。脚本:
#!/bin/bash
# /usr/local/bin/netcheck-collect.sh
TS=$(date +%s)
tailscale netcheck --format=json 2>/dev/null | jq -r --arg ts "$TS" '
.Regions | to_entries[] |
"tailscale_derp_latency_ms{region=\"\(.key)\",code=\"\(.value.Code)\"} \(.value.LatencyMs // 0) \($ts)"
' >> /var/lib/node_exporter/textfile/netcheck.prom.tmp
mv /var/lib/node_exporter/textfile/netcheck.prom.tmp /var/lib/node_exporter/textfile/netcheck.prom这个数据跑两周就能看出晚高峰规律:如果香港节点在 20:00-23:00 的 RTT 从 45ms 涨到 180ms,说明该线路被拥塞,需要提前把流量切到东京备用节点。
6.2 证书续期自动化与失败兜底
自建 DERP 最常见的翻车点是证书。acme.sh 的 DNS-01 方案配合 --reloadcmd 是标准做法:
acme.sh --issue --dns dns_cf -d derp.example.com --keylength ec-256
acme.sh --install-cert -d derp.example.com --ecc \
--fullchain-file /etc/derper/certs/derp.example.com.crt \
--key-file /etc/derper/certs/derp.example.com.key \
--reloadcmd "systemctl restart derper && logger -t acme 'derper cert reloaded'"--reloadcmd 里的 systemctl restart derper 会中断现有连接,客户端会自动重连到其他 DERP 节点,但正在传输的流量会抖一下。更平滑的做法是 systemctl reload derper,前提是 derper 支持 SIGHUP 重载证书(当前版本不保证,实测用 restart 更稳)。续期失败必须有独立告警链路:acme.sh 的 cron 任务失败不会主动通知你,所以加一层监控,直接检查证书文件的 mtime:
# 证书超过 60 天未更新视为续期失败
find /etc/derper/certs/derp.example.com.crt -mtime +60 | grep -q . && \
curl -s -X POST "https://api.telegram.org/bot$TOKEN/sendMessage" \
-d chat_id=$CHAT -d text="DERP cert not renewed in 60 days"6.3 双 DERP 灰度切换与 DNS 层容灾
单 DERP 节点是单点故障。生产环境至少部署两个 Region:香港主用、东京备用。derp.yaml 里两个 Region 各自独立:
regions:
900:
regionid: 900
regioncode: hk
regionname: Hong Kong
nodes:
- name: hk-1
regionid: 900
hostname: derp-hk.example.com
ipv4: 203.0.113.10
stunport: 3478
derpport: 443
901:
regionid: 901
regioncode: tyo
regionname: Tokyo
nodes:
- name: tyo-1
regionid: 901
hostname: derp-tyo.example.com
ipv4: 198.51.100.20
stunport: 3478
derpport: 443客户端的 RegionScore 由 netcheck 实测延迟决定,正常情况下自动选 HK。HK 挂掉后,客户端在 30 秒内探测失败并切到 TYO,tailscale ping 输出会从 via DERP(hk) 变成 via DERP(tyo)。灰度切换的实操方式是改 DNS 权重:把 derp-hk.example.com 的 A 记录 TTL 设为 60 秒,需要下线维护时改指向备用 IP,等 TTL 过期后客户端自然迁移。不要直接停服务,否则客户端会经历一段探测超时窗口。
演练脚本:
# 模拟 HK 节点故障
systemctl stop derper
# 观察客户端回退耗时
time tailscale ping --until-direct=false <peer-ip>
# 恢复
systemctl start derper实测回退窗口在 15-40 秒之间,取决于客户端的 DERP 健康检查周期。这个窗口内新建连接会失败,已有连接会重传。如果你的业务对秒级中断敏感,需要在应用层做重试。
6.4 防封风控:DERP 端口的长期存活策略
跨境 DERP 节点被封锁是常态而非例外。443 端口走 TLS 的 DERP 流量特征明显(WebSocket Upgrade + 固定路径 /derp),运营商的 DPI 有概率识别。降低被封概率的几个实操手段:
第一,不要用裸 IP 直连 443。套一层 CDN 或者至少用域名 + 正规证书,让流量看起来像普通 HTTPS。Cloudflare 免费版可以代理 WebSocket,但 DERP 的 STUN 走 UDP 3478 无法过 CDN,所以 STUN 端口单独暴露,且只对已知客户端 IP 段开放(用 nftables 做 geoip 白名单)。
第二,-verify-clients 必须开。不开的话你的 DERP 就是公开中继,扫描器一天就能发现并白嫖带宽,流量异常会加速被封。开启后只有本 tailnet 的客户端能中继,鉴权走控制平面,代价是弱网下握手失败率上升。折中方案:-verify-clients 开启,同时在 DERP 前面放 nginx 做 TLS 终止和限速:
limit_req_zone $binary_remote_addr zone=derp:10m rate=50r/s;
server {
listen 443 ssl http2;
server_name derp.example.com;
ssl_certificate /etc/derper/certs/fullchain.pem;
ssl_certificate_key /etc/derper/certs/key.pem;
location /derp {
limit_req zone=derp burst=100 nodelay;
proxy_pass http://127.0.0.1:8443;
proxy_http_version 1.1;
proxy_set_header Upgrade $http_upgrade;
proxy_set_header Connection "upgrade";
proxy_read_timeout 3600s;
}
}第三,准备备用端口。443 被封时,客户端可以通过 derpMap 里的 DERPPort 指定非标端口(如 8443、2053),这些端口在部分线路上存活率更高。提前在防火墙放行,故障时改 derp.yaml 热加载即可,不用等 DNS 生效。
6.5 真实事故复盘:证书过期导致全量回退
去年 Q4 的一次事故值得记录。时间线:
| 时间 | 现象 | 根因 | 处置 |
|---|---|---|---|
| 02:14 | 监控告警 DERP 443 探测失败 | Let's Encrypt 证书过期,acme.sh cron 因 DNS API token 过期未续期 | 手动 acme.sh --renew --force 重签 |
| 02:16 | 所有 peer tailscale ping 显示 via DERP(tyo) | 客户端自动回退到备用东京节点 | 无需干预,自动恢复 |
| 02:20 | 用户报障跨境访问延迟从 45ms 涨到 280ms | 东京节点绕路,RTT 翻 6 倍 | 证书恢复后客户端 5 分钟内切回 HK |
| 03:00 | 延迟恢复正常 | 客户端 RegionScore 重新评估 | 完成 |
根因是 acme.sh 的 Cloudflare API token 设置了 90 天有效期,到期后续期静默失败,cron 日志里只有一行 error: invalid token,没人看。改进项:token 改为永久(或 1 年),加证书 mtime 监控告警,acme.sh 的 cron 输出重定向到 syslog 并接入告警。这次事故的代价是 46 分钟的跨境延迟劣化,没有完全中断,因为双 DERP 架构兜住了。单节点的话就是全量断网。
6.6 peer 掉线检测与自动化巡检
tailscale status --json 里的 Peer 对象有 Online 字段和 LastSeen 时间戳。写一个巡检脚本,每 5 分钟跑一次,发现关键 peer 离线超过 10 分钟就告警:
#!/bin/bash
tailscale status --json | jq -r '
.Peer[] |
select(.Online == false) |
select((now - (.LastSeen | fromdateiso8601)) > 600) |
"\(.HostName) offline since \(.LastSeen)"
' | while read -r line; do
curl -s -X POST "https://api.telegram.org/bot$TOKEN/sendMessage" \
-d chat_id=$CHAT -d text="Tailscale peer alert: $line"
done配合 tailscale whois 做审计,定期导出在线设备清单比对,发现未授权设备立即 revoke。这套巡检跑起来之后,你才能在用户开口之前知道哪台机器掉了。
七、核心疑问与实战常见问题(FAQ)
Tailscale 自建 DERP 中继后,客户端仍然走官方中继或延迟没改善,怎么排查?
先在客户端执行 tailscale netcheck,看 DERP latency 列表里自建节点是否出现且 RTT 正常。若未出现,检查 derper 的 443/tcp 是否被防火墙拦截,用 curl -v https://derp.example.com/derp/latency-check 验证 TLS 与路径。若出现但流量仍走官方,用 tailscale debug derp-map 确认 derpMap 是否包含自建节点,并检查 ACL 中 derp 区域配置。常见坑是 derper 的 --verify-clients 未关闭导致客户端认证失败,或证书链不完整。用 tcpdump -i eth0 udp port 3478 抓包确认 STUN 流量是否到达 VPS。
自建 DERP 节点需要开放哪些端口,TLS 证书怎么配才不报错?
derper 默认监听 443/tcp 提供 DERP over HTTPS,同时监听 3478/udp 做 STUN。防火墙需放行 tcp/443 和 udp/3478。证书用 Let's Encrypt 签发,derper 支持 --certmode=manual 指定 cert 与 key 路径,也可用 --certmode=letsencrypt 自动申请。关键点:证书域名必须与 --hostname 一致,且客户端能解析该域名。若用 Cloudflare 代理,必须关闭小黄云,否则 443 被代理导致 DERP 握手失败。验证命令:openssl s_client -connect derp.example.com:443 -servername derp.example.com 检查证书链完整。
Tailscale 打洞失败一直走 DERP 中继,如何提升直连成功率?
先确认双方 NAT 类型,用 tailscale netcheck 看 UDP 是否可用、是否处于 Hard NAT。对称 NAT 下打洞成功率低,可尝试在两端路由器上启用 UPnP 或手动做端口映射到 Tailscale 的 41641/udp。若仍失败,部署多个自建 DERP 节点做就近中继,把延迟从 300ms 压到 60ms 以内。另外检查是否禁用了 IPv6,双栈环境打洞成功率更高。用 tcpdump -i any udp port 41641 观察是否有 STUN 绑定请求发出与响应。
自建 DERP 中继的带宽和并发怎么评估,VPS 选什么配置?
DERP 中继只转发加密后的 WireGuard 流量,CPU 开销主要在 TLS 加解密。单核 1GB 的 VPS 可支撑约 50-100 路并发中继,带宽按实际业务流量估算,1Mbps 每路视频会议需预留 2Mbps 余量。建议选带 1Gbps 端口的境外 VPS,月流量至少 1TB。用 iftop -i eth0 观察实时带宽,用 ss -s 看连接数。若并发高,调大 sysctl 的 net.core.somaxconn 和 net.ipv4.tcp_max_syn_backlog,并开启 BBR 拥塞控制。