创作集约 5.5 千字

Hikyaku —— 不论是光纤宽带还是机上 Wi-Fi 都能改善网络体验的多路复用代理

Hikyaku —— 不论是光纤宽带还是机上 Wi-Fi 都能改善网络体验的多路复用代理

hikyaku 是一个基于 Go 的、支持多路复用的网络加速代理协议 和 客户端、服务端实现,通过 0-RTT、健康检测的隧道管理、延迟感知的负载均衡、透明故障转移、服务端智能 DNS 与 TCP 并发握手等设计,不论是使用光纤宽带亦或是动辄数百 ms 延迟的机上 Wi-Fi,都能显著改善网络体验。

GitHub

hikyaku 协议文档

前车之辄 —— 从 satmux 说起

我在 Twitter 上看到有人分享了 Th0rgal/satmux 项目、只用了 990 行的 Python 就可以大幅改善 机上 Wi-Fi 下的网络体验。出于好奇,我自然要 在 AI 的帮助下 研究一下这个项目。

毫无疑问,satmux 的部分设计思路是正确的。对于部分使用 地球静止轨道卫星 的机上 Wi-Fi 如 Panasonic、Viasat、SITA 来说,普遍 RTT 都在 620+ ms 左右(和我在 新加坡航空 机上 Wi-Fi 的实测值 相近),如果需要走完 DNS、TCP、TLS 和 HTTP,几次握手下来至少要等好几秒钟才能打开一个网站;除此以外,机上 Wi-Fi 还普遍劫持 53、80、443 端口用来实现 Captive Portal。satmux 解决这些问题的办法是,使用非常规端口(如 8444)代理绕开机上的 MitM Box,使用 SOCKS5 代理,减少客户端与代理服务器之间的 RTT,并将 DNS、TCP、TLS、HTTP 多次握手的 RTT 转移到代理服务器和目标网站之间(通常具备更好的网络条件)。

但是,凭借我蒟蒻而又浅薄的网络行业相关从业经验,我很快就意识到 satmux 的实现存在诸多问题。satmux 为了所谓更好地利用卫星链路的带宽,为所有流量引入一次 zlib 压缩。然而在真实世界的网络场景中,网站自己本身就已经使用了 gzip 或 brotli 压缩;就算有人失心疯 真的在 机上 Wi-Fi 执行 sudo apt update && sudo apt full-upgrade、pacman -Syu、pnpm install 之类的操作,这些软件包的 tarball 也同样经过 gzip 压缩;satmux 引入额外一次 zlib 压缩,不仅浪费 CPU,在 satmux 自己 README 列出的 6 个测试目标上还适得其反、反而额外浪费了流量。除此以外,satmux 虽然实现了 12 路连接的多路复用,但是并没有任何优化和调度,一个繁忙的大文件下载会把一条连接上所有小请求全部卡住,也没有实现任何健康监测和故障转移;在其他参数(如缓冲区大小)上 satmux 也是直接拍脑门设置的一个固定数值。

后车之鉴 —— 设计理念与目标

如果 satmux 的思路是正确的,只是下面的人实现坏了,我们完全可以在保留其核心理念的前提下,重新设计一个在任意延迟(包括极高延迟和极端抖动)、任意丢包率(即使丢包十分严重)的网络环境下依然快速可靠的多路复用代理。hikyaku 应运而生:使用尽可能少的 CPU 和内存,使用尽可能少的代码(排除单测,核心代码控制在 3500 行以内),在任何网络环境(任意可用带宽、任意延时、任意丢包率)下,都尽可能保持快速、稳定可靠的网络连接。

同时,我们也需要明确 hikyaku 的核心目标:作为网络加速与优化协议,hikyaku 过去不是、现在不是、将来也永远不会是 网络审查对抗工具,因此,hikyaku:

  • 一定不会试图将自己的流量伪装成 HTTP、TLS 或其他协议
  • 一定不使用 padding 等方式改变流量特征规避审查
  • 一定不使用 TLS 作为加密手段
  • 一定不使用客户端时间戳用于对抗重放

既然已经决定了 hikyaku 的设计目标和原则,我们就可以将重点关注在实际网络环境中的优化上了。

0-RTT

在高延迟、丢包严重的机上 Wi-Fi 环境下如果要改善网络体验,那么我们要尽可能将 RTT(DNS、TCP、TLS、HTTP)都转移到代理服务器和目标网站之间,而不是在客户端和代理服务器(通过机上 Wi-Fi)之间;让客户端使用尽可能少的 RTT 就能和代理服务器握手成功,同时减少客户端需要发送给代理服务器的指令量。除此以外,hikyaku 还实现了 0-RTT,隧道尚未完全建立也可以立即发送 Early Data,一旦代理服务器认证通过,这些数据就会被立即处理,无需额外等待一个 RTT。

相比 Shadowsocks 2022 基于时间戳的防重放机制,hikyaku 仅依赖于服务端对每个通过认证的 client_salt 记录实现非常简单的重放保护;因为客户端的时钟本身就是极其不靠谱的,依赖客户端所在操作系统的 NTP 同步是无法保证安全性的,也无法确保防重放机制的可靠性,只会严重影响客户端的连接体验。

连接池与多路复用

相比 satmux 在启动时就立刻预热、建立、并维护 12 条连接的连接池,hikyaku 选择懒启动、按需建立连接的策略,冷启动时建立尽可能少的连接,只有当更多的请求到来时才会逐步增加连接数,直到达到上限配置;在懒启动、按需建立连接、连接池上限用完之前,hikyaku client 都会尽可能保持一条空闲的连接以应对未来的新请求、新请求无需使用未释放的繁忙连接。

hikyaku 的多路复用实现使用了 smux,但是 hikyaku 在控制通道上额外增加了 RESET 指令,从而可以更好的区分 half-close 和 abort,而这是 smux 本身无法做到的。hikyaku 并没有使用 smux 默认的窗口大小和心跳机制,而是在协议层 亲自部署,亲自指挥 做了一些花活,进一步改善了连接的可靠性、延迟感知的调度能力以及在高延迟、高丢包环境下的整体性能。

hikyaku 的心跳检测是 hikyaku 协议的一部分,当网络活动空闲时,hikyaku 客户端会主动发送心跳检测包,不仅检测连接是否存活,还会检测连接的 RTT 作为性能监控;当连接上存在网络活动,hikyaku 会降低心跳检测包的发送频率、避免浪费宝贵的带宽资源,而是将用户的网络请求 复用为心跳检测的一部分,hikyaku 服务端在收到 hikyaku 客户端发来的网络请求后会立刻回复 ACK,hikyaku 客户端据此判断连接是否存活以及 RTT,并区分网络请求失败的原因是属于 hikyaku 连接中断 还是 目标网站本身故障、从而决定是否自动重试,对上层应用完全透明。hikyaku 客户端基于主动和被动采集到的 连接存活信息 和 RTT 数据 可以动态调整请求的调度策略,实现延迟感知的负载均衡和透明故障转移,并能在一定程度上对抗运营商 ECMP QoS;当活跃网络请求结束后,hikyaku 客户端还会在一段时间内发送心跳检测包,以维持 TCP 拥塞窗口大小。

服务端侧网站访问优化

hikyaku 除了在客户端与服务端之间的连接进行了设计之外,在 hikyaku 服务端访问目标网站时 同样做了大量优化,最大化发挥 代理服务器 的带宽和连通性优势,大幅改善目标网站的访问体验。

hikyaku 协议与 是什么,为什么,怎么做 —— 谈谈 DNS 泄漏、CDN 访问优化与 Fake IP 一文中的核心思想一脉相承,不在客户端进行任何 DNS 解析、优先发送域名、由 hikyaku 客户端发送到 hikyaku 服务端进行解析,不仅减少了用户侧的 RTT,同时能够确保 hikyaku 服务端能够连接到目标网站 最适合 代理服务器 的 CDN 节点、完美解决 CDN 访问优化问题。

hikyaku 服务端支持配置多个 DNS 服务器(并支持多种 DNS 传输协议,UDP、TCP、DNS over TLS、DNS over QUIC、DNS over HTTPS、DNS over HTTP/3、DNSCrypt 等),并且额外引入了 渐进式并发 查询机制。搭配 hikyaku 服务端的 DNS 乐观缓存和 TCP 并发握手,可以显著提升目标网站的访问速度和可靠性。

  • 当 hikyaku 服务端收到 hikyaku 客户端发来的网络请求(不论是 TCP 还是 UDP)时,hikyaku 服务端会使用所有配置的 DNS 上游服务器进行并发查询
  • 当拿到第一个 DNS 解析结果时,hikyaku 服务端会立刻读取该 DNS 解析结果进行 TCP 并发握手:hikyaku 会对 DNS 解析结果返回的所有 IP 地址同时发送 SYN,最先收到 SYN-ACK 的 IP 地址胜出、继续建立 TCP 连接,并对其他 IP 地址发送 RST,从而确保 hikyaku 服务端连接的一定是延时最低的目标网站服务器 IP
  • 当其他 DNS 服务器陆续返回 DNS 解析结果后,hikyaku 服务端会将这些新的 IP 地址加入到 TCP 并发握手的候选列表中,这样可以让更多的 IP 一起参与后续的 TCP 并发握手和竞速,进一步确保 hikyaku 服务端始终能够选择到延时最低、最优的目标网站服务器 IP。
  • TCP 并发握手中胜出的 IP 地址一样会被缓存,后续访问相同网站会优先使用该缓存的 IP 地址进行连接,不再继续并发握手
  • 如果 TCP 并发握手中胜出的 IP 在后续访问中速度变慢、无法连接,hikyaku 服务端会在 250ms(RFC8305 Happy Eyeballs v2 推荐值)后将其他候选 IP 一起参与新一轮 TCP 并发握手,确保始终能够选择到最优的目标网站服务器 IP。
  • 当 DNS 缓存过期后,hikyaku 服务端会继续使用过期的缓存记录(即 DNS 乐观缓存)、继续进行 TCP 并发握手。如果目标网站 IP 确实发生了变化,已经失效的 IP 会在 TCP 并发握手中被发现并淘汰,并不影响 hikyaku 服务端最终一定能访问到目标网站。

hikyaku 服务端的 TCP 并发握手和 RFC8305 Happy Eyeballs v2 的关键区别在于,Happy Eyeballs v2 不建议同时对多个 IP 地址发起并发握手,只有当一个 IP 握手用时超过 250ms 后才可以尝试下一个 IP,比较保守;而 hikyaku 服务端 由于 代理服务器 普遍的带宽和连通性优势,采用更激进的同时并发握手的方式,能够在最短时间内选出延时最低的目标网站服务器 IP,从而显著提升访问速度和可靠性。

中场休息:飛脚(ひきゃく)

hikyaku 是日语 飛脚(ひきゃく)的罗马音。飛脚 是日本在宿场之间接力传递书信的快递脚夫,最早可以追溯到镰仓时代,在江户时代发展成熟,是江户时代重要的通信方式之一,直到明治初期被近代邮政制度取代。而「飛」字也正好呼应 hikyaku 设计起初「在飞机上」加速机上 Wi-Fi 的 idea。

Benchmark:按数据说话

hikyaku 的 GitHub 仓库 里包含了完整的 Benchmark 测试集,欢迎感兴趣的读者复现和验证这些测试结果。

hikyaku 实现了一个模拟器称为 netsim,在客户端和服务端两个 network namespace 之间运行的用户态链路模拟器,而内核 TCP 真实经历延迟、丢包和重传。每次请求都经由各系统本地的 SOCKS5 端口(直连则直接访问测试网站)。

hikyaku 的 Benchmark 同时对比了 hikyaku(v0.1.0)、satmux(2922ebb)、TUIC v5(v2.0.0-dev10)三种方案,以及不经过任何代理的 直连 作为 baseline。每个实现方案在每个场景下都各跑 10 次,下文中的数字均为 10 次运行的中位数,图表中的误差线为 25–75 百分位。

测试一共包含 9 个场景。前四个是人为构造的链路,其中 620ms 使用 10% 的均匀随机丢包,仅作为极限压力测试、并不代表任何真实链路;后五个则模拟机上 Wi-Fi,其中断网、延迟尖峰和队列的参数属于工程估算:

场景RTT丢包带宽(下行/上行)其它
10ms10 ms0%500 Mbit/s
50ms50 ms0%500 Mbit/s
200ms200 ms5%100 Mbit/s
620ms620 ms10%(均匀随机)5 Mbit/s极限压力测试
healthy GEO700 ms单向 0.05%50/4 Mbit/s
congested GEO620 ms仅队列丢包5.9/3.9 Mbit/s
impaired GEO750 ms单向 0.1%5/1 Mbit/s约每 90 s 一次约 10 s 的断网
Starlink 大陆30 ms单向 0.02%125/15 Mbit/s机舱延迟尖峰、15 s 的暂停
Starlink 跨洋65 ms单向 0.02%65/24 Mbit/s约每 10 分钟一次约 1 s 的断网

其中「Starlink 大陆」场景指的是飞机位于陆地上空、距离地面站较近的情况;同理,「Starlink 跨洋」场景指的是飞机位于跨洋航线、距离地面站较远的情况。

在三个 GEO 卫星场景中,hikyaku 在所有延迟指标上都领先、或与最优者持平(差异不显著);而在下载吞吐上,TUIC 由于使用 UDP 而非 TCP、在 userland 实现了自己的拥塞控制,不受内核 TCP 拥塞控制的限制,在大部分场景中更快,以 congested GEO(620 ms、5.9/3.9 Mbit/s)场景为例:

指标hikyakuTUICsatmux直连
冷启动1.90 s2.10 s3.30 s2.52 s
打开网页(6 个并发小请求)1.31 s1.70 s1.31 s2.51 s
下载进行中的小请求1.27 s1.71 s1.45 s2.94 s
空闲 5 s 后的 100 KB 页面 TTFB1.26 s1.41 s1.28 s1.88 s
空闲 5 s 后的 100 KB 页面 总时间1.40 s1.51 s3.39 s3.75 s
下载吞吐4.14 Mbit/s5.21 Mbit/s4.12 Mbit/s3.91 Mbit/s
失败请求0000

需要注意的是,在 机上 Wi-Fi 此类场景中,UDP 更有可能被 QoS 和限速,在实际网络环境中,TUIC 的优势可能会被削弱。

可靠性

hikyaku 在全部 9 个场景、共 90 次运行中,没有出现任何一次失败的请求。相比之下,在约每 90 s 就断网约 10 s 的 impaired GEO 场景中,TUIC 在 10 次运行中失败了 11 个请求、satmux 失败了 2 个、直连也失败了 1 个;在 620ms 极限压力测试中,satmux 失败了 9 个请求。

冷启动

冷启动指的是从客户端启动、到第一个请求成功所需的时间(直连没有客户端,即第一个请求的用时)。下图展示了客户端启动后的第一个请求(中位数,误差线为 25–75 百分位,对数坐标,越低越好):

在所有 GEO 和所有 Starlink 场景中,hikyaku 是冷启动最快的:healthy GEO 上 2.13 s(TUIC 2.33 s、satmux 3.69 s、直连 2.83 s),Starlink 跨洋上 0.220 s(TUIC 0.325 s、satmux 0.545 s、直连 0.290 s)。在 200ms 场景中 TUIC 的中位数更低(0.895 对 1.04 s),但差异并不显著;只有在 RTT 极短的 10ms 和 Starlink 大陆场景中,直连比 hikyaku 更快,但优势也并不明显。

网站访问

打开一个网站通常意味着需要同时向多个域名发起多个网络请求。这项测试同时发起 6 个小 HTTPS 请求、取其中最慢的一个。下图为 6 个并发小请求中最慢的一个(中位数,误差线为 25–75 百分位,对数坐标,越低越好):

hikyaku 和 satmux 在所有场景中都持平(差异均不显著)。在 GEO 场景中,hikyaku 只需要直连约一半的时间(congested GEO 上 1.31 对 2.51 s),比 TUIC 快 19–23%(congested GEO 上 1.31 对 1.70 s;healthy GEO 的差异不显著)。只有在 10ms 场景中,直连比所有代理都快,但优势依然不明显。

下载进行中的小请求

这项测试在后台下载文件的同时,再依次发起 3 个小 HTTPS 请求、取中位数,模拟一边下载、一边浏览网页的场景。下图为下载进行中的小请求的用时(中位数,误差线为 25–75 百分位,对数坐标,越低越好)。

在 GEO 场景中,hikyaku 的用时约为直连的一半(congested GEO 上 1.27 对 2.94 s),比 TUIC 快 8–26%(congested GEO 上 1.27 对 1.71 s);在 620ms 极限压力测试中,hikyaku 用时 2.11 s,而 TUIC 需要 3.80 s。

空闲之后

这项测试在 5 s 没有任何流量之后,再请求一个 100 KB 的 HTTPS 页面,分别记录 TTFB 和总时间。下图为空闲 5 s 后的 100 KB 页面的 TTFB(中位数,误差线为 25–75 百分位,对数坐标,越低越好)。

下图为空闲 5 s 后的 100 KB 页面的总时间(中位数,误差线为 25–75 百分位,对数坐标,越低越好)。

在 GEO 场景中,hikyaku 的 TTFB 与 satmux 基本持平(相差不超过 0.02 s),但在 healthy GEO 和 congested GEO 上,hikyaku 总时间都不到 satmux 和直连的一半:healthy GEO 上 1.43 s(TUIC 1.62 s、satmux 3.52 s、直连 4.22 s),congested GEO 上 1.40 s(TUIC 1.51 s、satmux 3.39 s、直连 3.75 s)。在 620ms 极限压力测试中,TUIC 的总时间长达 21.9 s,hikyaku 为 6.93 s。

下载吞吐

每次运行依次进行 3 次下载、取中位数,下载大小为该场景下行带宽 8 s 的数据量(在 1 MB 到 10 MB 之间)。下图为下载吞吐(每次运行 3 次下载取中位数;中位数,误差线为 25–75 百分位,对数坐标,越高越好)。

在大部分场景中,TUIC 的下载吞吐更高:50ms 上 304 对 136 Mbit/s,healthy GEO 上 18.0 对 8.02 Mbit/s,Starlink 大陆上 113 对 95.8 Mbit/s。TUIC 服务端默认使用 1 MB 的初始拥塞窗口(initial_window 1048576),而基于 TCP 的 hikyaku、satmux 和直连都从 Linux 默认的初始窗口起步,这可能是 TUIC 在短时间下载中领先的原因之一(我没有单独验证)。而在 10ms 场景中,hikyaku 以 433 Mbit/s 领先(TUIC 359 Mbit/s);在 200ms 和 620ms 两个重度丢包场景中,hikyaku 的下载吞吐是 TUIC 的 2 倍(0.410 对 0.205 Mbit/s、0.130 对 0.065 Mbit/s)。

需要注意的是,10ms、50ms 和 Starlink 大陆场景的带宽高达 125–500 Mbit/s,一个 10 MB 的文件不到一秒就能下载完,因此这三个场景中的下载吞吐反映的是「下载一个 10 MB 文件」的速度、主要体现冷启动时的爬坡,而不是链路的最大容量。

安装和使用 hikyaku

通过 Homebrew 安装

brew install sukkaw/tap/hikyaku

hikyaku-client -h
hikyaku-server -h

通过 GitHub Release 下载

在 GitHub Release 页面可以下载各个平台的预编译二进制文件的 tarball 或 zip 压缩包,解压后即可获得二进制。

通过 Go 下载安装

需要使用 Go 1.27.3 或以上版本。

go install github.com/SukkaW/hikyaku/cmd/hikyaku-server@latest
go install github.com/SukkaW/hikyaku/cmd/hikyaku-client@latest

在 Surge for Mac 中使用 hikyaku

推荐用 Homebrew 安装客户端,然后通过 External Proxy Program 让 Surge 自己拉起客户端:

[Proxy]
hikyaku = external, exec = "/opt/homebrew/bin/hikyaku-client", args = "-listen", args = "127.0.0.1:11080", args = "-server", args = "203.0.113.10:8444", args = "-psk", args = "your-psk", local-port = 11080, addresses = 203.0.113.10, udp-relay = true
  • exec 填 hikyaku-client 所在的绝对路径:通过 Homebrew 安装后,在 Apple Silicon Mac 上是 /opt/homebrew/bin/hikyaku-client、Intel Mac 上是 /usr/local/bin/hikyaku-client。
  • local-port 本地监听端口,必须和客户端 -listen 参数指定的端口一致。
  • addresses 填服务端的 IP、而不是域名。Surge 使用该参数来避免在 Surge 增强模式下 hikyaku-client 自身流量被循环代理。
  • udp-relay = true 让 Surge 的 UDP 流量也经由 hikyaku 转发。
评论加载中...