前言

很久之前就遇到这个问题了:开启IPv6中继后,访问https://testipv6.cn/可以看到网站上显示的IPv6地址于CPE后台以及PC上显示的实际地址一致,说明是公网IPv6,流量可以主动出站,但是用https://www.itdog.cn/拨测,无论是ICMP还是TCP,流量就是无法主动入站。刚好最近用ds肘开了CPE的SSH,直接继续用ds力大砖飞,狠狠排查一遍,看看到底是CPE防火墙问题还是模块问题。

结论

CPE防火墙是一部分,但是并没有拦截ICMP,也就是说外部可以Ping通的。最后结论就是,鲲鹏神卡(联通物联网卡)走的5gscuiotAPN直接丢弃了IPv6主动入站流量😅。并且实测即使在CPE后台修改了APN成3gnet并重启设备,但是会话连接依旧是5gscuiot。

我手上没普通联通手机卡,所以没办法测试这个丢弃策略是覆盖整个联通蜂窝网络连接,还是只是覆盖5gscuiotAPN,亦或是只是覆盖联通物联网卡?

不过可以测试的是,我用一张正常的电信手机卡插入CPE后,APN为ctnet,ICMP能够成功入站。

因此想要IPv6能够主动入站ICMP的话,建议换卡。

分析

下面这段是分析整个架构。

首先是联通和电信只给设备分配/64网段,而不是像宽带那样下发/54、/60网段,因此到设备侧就已经是最后一个子网了。

在NRadio以前的老固件里,开启IPv6后,设备的IPv6地址使用的是CPE的IPv6地址,因此是开启了NAT66转发的,这段时间子网设备是没办法正常拿到IPv6公网的。(可以用端口转发曲线救国)

而在某个固件后(忘了是哪个版本),NRadio支持了IPv6中继。通过RA中继以及NDP代理,让整个设备子网(包括CPE)共享一个/64网段,成功实现让子网设备通过RA + SLAAC拥有真正的IPv6公网地址。

架构如图示例:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
                互联网
│
┌───────────┴───────────┐
│ 中国电信 4G/5G 核心网 │
│ 分配 /64(无 PD) │
└───────────┬───────────┘
│ 蜂窝 (RMNET)
┌─────────────────┴──────────────────┐
│ 5G 模块 MEIG NU313-M2 │
│ USB CDC-ECM │
│ 自身 IPv6: 240e:1234:1234:1234:1111:… │
│ IPv4: 10.xx.xx.xx(模块内 NAT) │
│ 对外 IPv4: xxx.xx.xx.xxx │
└─────────────────┬──────────────────┘
│ usb0
┌─────────────────┴──────────────────┐
│ CPE │
│ OpenWrt 21.02 / MT7981 / aarch64 │
│ usb0 : 240e:1234:1234:1234:2222:…/64 │
│ br-lan : 240e:1234:1234:1234::1/64 │
│ odhcpd : ra/dhcpv6/ndp = relay │
│ ipv6_nat = 0(无 NAT66) │
└─────────────────┬──────────────────┘
│ br-lan
┌─────────────────┴──────────────────┐
│ PC (Windows) │
│ 240e:1234:1234:1234:3333:… ← 固定 │
│ 240e:1234:1234:1234:4444:… ← 临时 │
└────────────────────────────────────┘

全部在同一个 /64:240e:1234:1234:1234::/64

整个方案核心是IPv6前缀共享

环节 做了什么
电信核心网 只下发 RA,下发一个 /64 的 on-link 前缀,无 DHCPv6-PD
5G 模块 将拿到的 /64 原样向下游宣告(L3 网关 + 前缀透传)
CPE odhcpd 工作在 relay 模式,把上游 RA 中继到 LAN;同时打开 proxy_ndp,代 LAN 设备向上游应答邻居请求
LAN 设备 直接从运营商 /64 里 SLAAC 出自己的公网地址

然后这些都没啥问题,问题出在最上游的物联网卡环节,直接丢弃了所有主动入站的IPv6流量,所以才出现这种非常奇葩的情况:子网设备拥有IPv6公网并且能够正常出站,但是就是无法主动入站,而CPE中继和防火墙又完全没有任何问题。

所以解决的办法也很简单,换卡。

CPE防火墙

换卡后能Ping通则说明主动入站的ICMP流量已可达,但是CPE的防火墙只是允许了ICMP,默认是REJECT了所有TCP的,因此如果想要跑服务,还需要修改防火墙

首先确认好设备的IPv6地址,Windows下的话会有临时IPv6和普通IPv6两个公网地址,建议用普通IPv6的,不然老是要改防火墙

然后通过SSH给CPE防火墙添加规则,下面是开放8080端口的示例,需要改成实际端口和地址:

1
2
3
4
5
6
7
8
9
10
11
12
13
sec=$(uci add firewall rule)

uci set firewall.$sec.name='Allow-PC-Web8080'
uci set firewall.$sec.src='wan'
uci set firewall.$sec.dest='lan'
uci set firewall.$sec.proto='tcp'
uci set firewall.$sec.dest_ip='240e:1234:1234:1234:3333:…'
uci set firewall.$sec.dest_port='8080'
uci set firewall.$sec.family='ipv6'
uci set firewall.$sec.target='ACCEPT'

uci commit firewall
/etc/init.d/firewall reload

查看添加情况

1
2
3
4
5
6
7
8
# 看配置
uci show firewall | grep -A9 'Allow-PC-Web8080'

# 看 iptables 里有没有(这条最重要)
ip6tables -t filter -S zone_wan_forward | grep 8080

# 看规则顺序(必须在最后那条 zone_wan_dest_REJECT 之前)
ip6tables -t filter -nvL zone_wan_forward --line-numbers

正常应该会看到:

1
2
-A zone_wan_forward -d xxxxxxx/128 -p tcp --dport 8080 \
-j zone_lan_dest_ACCEPT

然后记录下之前uci add返回的$sec(比如 cfg1492bd),后续方便查询和调整。

下面是防火墙参数表:

参数 说明 示例
name 规则名,仅用于识别 Allow-PC-Web8080
src 来源区域 wan
dest 目标区域 lan
proto 协议 tcp / udp / tcp udp / icmp
dest_ip 目标 IPv6(可省略=任意 LAN 设备) 240e:…
dest_port 目标端口,支持范围 8080 / 8000-8100
src_ip 限制来源 IP(可选,强烈建议) 240e:xxx::/64
family 协议族 ipv6 / ipv4 / any
target 动作 ACCEPT / REJECT / DROP
enabled 是否启用 0 可临时关闭

然后也可以移除掉添加的规则

1
2
3
uci delete firewall.cfg1492bd          # 换成你的 section 名
uci commit firewall
/etc/init.d/firewall reload

下面是一些安全建议:

  1. 不要图省事省略dest_ip。不写就等于对整个LAN的所有设备开放该端口,而IPv6是公网的,所以直接暴露所有LAN里的设备会怎么样懂得都懂😂。

  2. 不要改config zone的 forward。从 REJECT 改成 ACCEPT,等于关掉整个IPv6防火墙。

  3. family ‘ipv6’ 一定要写。不写会同时生成 IPv4 规则,容易误开放。(虽然开了IPv4也是NAT了的)

  4. 规则要尽量精确:能限定src_ip就限定,能用端口范围就别开全端口。

总之看你自己的需求咯。

然后需要注意的是IPv6前缀是会变化的,例如重启设备,所以dest_ip可能会对不上,这点需要注意。

一些概念

下面是AI讲述的,我懒得改了。

IPv6 里没有 ARP,也没有 DHCP 广播。地址怎么配、邻居怎么找、路由器怎么发现,全都靠 ICMPv6 承载的一套机制,叫NDP(Neighbor Discovery Protocol,邻居发现协议),定义在 RFC 4861。

可以把它想成 IPv4 里三件事的合体:

IPv4 的做法 IPv6 的对应机制
ARP(找邻居 MAC) NS / NA
DHCP(拿地址) RA + SLAAC(或 DHCPv6)
ICMP 重定向、路由器发现 RA / Redirect

NDP 一共 5 种报文,全是 ICMPv6 类型:

类型号 名称 作用
133 RS(Router Solicitation) 设备问"有路由器吗"
134 RA(Router Advertisement) 路由器宣告前缀、默认路由、参数
135 NS(Neighbor Solicitation) “这个地址是谁的?”(相当于 ARP 请求)
136 NA(Neighbor Advertisement) “是我的”(相当于 ARP 应答)
137 Redirect “下次走另一个路由器更快”

RA(Router Advertisement)

RA 是路由器定期(通常每几分钟)主动发到ff02::1(所有节点)的组播包,也响应设备的 RS。它携带四类信息:

  1. 前缀 + 两个关键标志位

Prefix: 240e:1234:1234:1234::/64
A 标志 (Autonomous) = 1 → 设备可以自己用这个前缀拼地址(SLAAC)
L 标志 (On-link) = 1 → ★ 这个前缀里的地址,我认为"就在我这条链路上"
有效期: valid 2592000s / preferred 604800s

  1. 默认路由

Router: fe80::abcd:abcd:abcd:abcd
Router Lifetime = 1800s

设备据此把 ::/0 指向这个路由器: default via fe80::abcd:abcd:abcd:abcd dev usb0

  1. M / O 标志(决定用不用 DHCPv6)
  • M=1:地址也找 DHCPv6 要
  • O=1:其他参数(DNS 等)找 DHCPv6 要
  • 两个都是 0:纯 SLAAC
  1. 其他参数

MTU、DNS(RDNSS)、跳数限制等。

L(On-link)

设备收到 L=1 的前缀后,会建立这样一条认知:

“240e:1234:1234:1234::/64 这个网段里的每一个地址,我都能直接发帧过去,不需要经过路由器。”

于是发送流程变成:

要发给 240e:1234:1234:1234:…
├─ 判断:这个地址在我的 on-link 前缀里
├─ 不查路由表找下一跳
└─ 直接发 NS 问:“这个地址的 MAC 是多少?”

而整套网络架构上,240e:1234:1234:1234::/64 同时存在于三段链路上:

① 电信 PGW 的链路 ←── 它认为 PC 的地址就在这条链路上
② 模块到 CPE 的链路
③ CPE 到 PC 的链路 ←── PC 实际在这里

PGW 收到一个发往 240e:1234:1234:1234:… 的包,因为 L=1,它会:

PGW: “这个地址 on-link,我直接问它在哪”
→ 发 NS 到 solicited-node 组播地址
→ 等待 NA
→ 没人应答?那这地址不可达,包丢掉

但 PC 在 CPE 后面,根本收不到 PGW 的 NS(NS 是链路本地组播,不会跨路由器)。

NDP 代理(Proxy NDP)

让 CPE 冒充 PC,替它应答:

PGW ──NS:"240e:1234:1234:1234:… 是谁?"──> CPE
│
CPE: “哦,这个地址我知道,在 LAN 那边”
“我就说是我吧” ──NA:MAC = CPE 的 usb0 MAC──> PGW
│
PGW: “好,那以后发给它的包都送给 CPE” ──> CPE ──转发──> PC

CPE 用自己的 MAC 应答了别人的地址,这就是"代理"。

RA 中继(ra relay)

RA 中继做的事:把 WAN 侧收到的 RA 转发到 LAN。

但有个细节——转发时会把源地址改写成 CPE 自己的 br-lan 链路本地地址:

上游 RA: 源 = fe80::abcd:abcd:abcd:abcd(模块/上游)
↓ CPE 中继并改写源
LAN RA: 源 = fe80::bcde:bcde:bcde:bcde(CPE 的 br-lan)
前缀仍然是 240e:1234:1234:1234::/64
默认路由指向 CPE

这样 PC 就把 CPE 当成自己的默认网关:

PC 的路由表:
::/0 → fe80::bcde:bcde:bcde:bcde (CPE)
240e:1234:1234:1234::/64 → on-link

所以 PC 出站 → 交给 CPE → CPE 交给模块 → 模块交给电信。整个"共享 /64"的假象就是这么维持住的。

整个流程

① 外部主机 ──ICMPv6 echo request──> 电信 PGW
│
② PGW 查路由:目标 240e:1234:1234:1234:… 在 on-link 的 /64 里
→ 发 NS 组播:“谁有这个地址?”
│
③ CPE 的 proxy_ndp 命中 ──NA:我的 MAC──> PGW
│
④ PGW 把包发给 CPE 的 usb0 MAC
│
⑤ CPE 收包 → 查路由 → /128 或 /64 指向 br-lan
→ 在 br-lan 发 NS 找 PC
│
⑥ PC 应答 NA → CPE 把包转发过去
│
⑦ PC 回 echo reply → 反方向再走一遍