Linux | Chia-An Lee

PPPoE Line 無法連線問題

Thu, 08 Sep 2022 08:46:29 +0800

由於曾經想把家中的 NAT gateway 全部放到 Linux server 上，做包含、NAT、與 DHCP 的工作，同時可以自由地記憶 mac address、下 firewall 規則、架設 web proxy server 等，不需要再過小烏龜與它家 NAT 打 port forwarding，因此著手了建置。

在完成 PPPoE 建置後，詐用之下並沒有什麼太大的問題，然而偶有新建立連線時速度較慢的問題。一開始我並不太在意，然而當家人反映 Line 在 wifi 下無法正常傳送訊息，只有在 LTE 網路下才可以時，便發現好像真的是我的網路架設有問題。

在確認 LINE 的網頁也觸及不到後，便方便確定可以直接用 LINE 網站當 debug target。在觀察問題時發現如果使用 Linux 軟撥接，封包會止步於東京的 Router (使用 traceroute 或 mtr 測試)，但如果使用小烏龜硬撥接在過東京之後也沒有回復，但 LINE 網頁是可以 access 的，因此懷疑 LINE server 只是沒有開 ICMP response。

接著試著用 tcpdump 把封包抓出來檢查，比較軟撥接與硬撥接封包差異，看起來似乎只差在軟撥接封包 MTU 為 1492，為了增加 8 byte 的 PPPoE header，而硬撥接莫名的可以放 1500 (也許上面的機器 MTU 有開超過 1500)，理論上 MTU 只有過大才會有問題，太小應該只會有效能問題而已。

而後繼續細看 TCP 的封包內容，看起來硬撥接時可以做完完整的 handshark，可是軟撥接時只能做到 server hello，所以代表其實封包是有送到 LINE 的 server 上，只是在三方交握時莫名的被拒絕，而又觀察 header 內容，會發現 server hello 的 sequence number 會出錯，除錯到此懷疑要馬是 MTU 的問題，要馬就是 TCP 的問題，然而就是想不出到底 root cause 在哪。

在走投無路下，嘗試詢問在 AWS 工作的大神學弟，結果學弟一比較之下馬上跟我講原因。原來是 TCP MSS 的問題，在 TCP header 裡面會有一個 MSS (maxiumu segment size) 用來告知兩端該放多少 size 的 payload。在連線到一般的 server 時由於兩方都沒有要交換的 MSS，因此照著 MTU 的大小放多可以正常工作，可是當其中一端有要求 MSS (像是 LINE server) 可是另外一端沒有時，就會以 MSS 的大小放置 payload，而常見的 MSS 是 1460 (1500 (MTU) - 40 (IP/TCP header))，然後懷疑由於 LINE 沒有開 ICMP 功能因此無法透過 Path MTU Discovery (PMTUD)，又有手動塞 MSS 1460，然而 client 又不會跟其溝通，因此永遠用大於可接受的封包大小傳送資料。

解決方法是要嘗試讓 server 知道 MSS 要變小，並且我需要在 gateway (NAT server) 上設定，而不是在 client 上一台一台設。Linux 上常見做法有兩種，一種做法是在防火牆上下規定 TCPMSS: iptables -A FORWARD -p tcp --tcp-flags SYN,RST SYN- j TCPMSS --set-mss 1452 (1452 = 1500 - 8 PPPoE header - 40 IP/TCP header)，然而我的防火牆是用 firewalld 設定，不管寫 iptables 或寫 firewalld 例外規定都感覺很彆扭，因此用第二種作法在 route 上面設定 advmss: ip route add default dev ethX mtu 1492 advmss 1452，後來發現如果改用 network-scripts 設定 PPPoE 可以直接有 CLAMPMSS=1452，所以就改用 network-scripts 的設定方式了。BTW 我看網路上很多人都把 CLAMPMSS 設定成 1412，不過好像是 PPPoE 有不同種長度的 header (?)。

Reference

Linux PPPoE 設定

Wed, 07 Sep 2022 08:46:29 +0800

Linux 在 PPP (Point to point protocol) 上面有不同種類的設定方法，不同 OS 也會習慣用不同的 package，由於我是用 CentOS，因此主要是查 CentOS 的 PPPoE 設定方法

nmcli

其中一個常見的方法是用 nmcli 來設定

常用指令

sudo nmcli device # (或者只打 d，如果 prefix match 的到唯一 nmcli 就知道是什麼指令)
sudo nmcli connect
sudo nmcli connect up/down/reload XXX # 接 connection name
sudo nmcli c add/delete/edit XXX # edit 會進入互動模式，個人習慣在互動模式下修改比較簡單，不確定關鍵字也可以自動補全
# 在互動模式
nmcli> print # 印出設定

作法

sudo yum install rp-pppoe # 需要先安裝相關的 package
sudo nmcli c edit type pppoe con-name "ppp0"
nmcli> set pppoe.username $USER # 接中華給的號碼 @hinet.net (如果是 @hinet.net 是浮動 IP，@ip.hinet.net 是固定 IP)
nmcli> set pppoe.password $PWD # 設定中華給的密碼
nmcli> set pppoe.autoconnect yes # 自動連接
nmcli> save
nmcli> quit
sudo nmcli c up ppp0

network-script

然而因為，nmcli 的設定沒有我需要的參數，因此後來改用 network-script 的方式設定，方法如下

先下載所需要的 package

sudo yum install ppp
sudo yum install NetworkManager-ppp

在 /etc/sysconfig/network-scripts/ 下新增檔案 ifcfg-ppp0

DEVICE=ppp0
TYPE=xDSL
ONBOOT=yes # 開機開啟
PIDFILE=/var/run/pppoe-adsl.pid # 設定 pid 檔案位置，也可以放在其他地方或不寫
FIREWALL=NONE
PING=.
PPPOE_TIMEOUT=80
LCP_FAILURE=3
LCP_INTERVAL=20
CLAMPMSS=1412 # 設定 TCP MSS 可以不寫，不過遇到 G8 網站了話會需要用其他例如 iptables 的方式處理
CONNECT_POLL=6
CONNECT_TIMEOUT=60
DEFROUTE=yes # 是否要成為 default route
SYNCHRONOUS=no
ETH=eth1 # bind interface
PROVIDER=DSLppp0
USER=72920266@ip.hinet.net # 帳號 (@ip.hinet.net 是固定 IP 需要網頁上些設定，@hinet.net 是浮動 IP)
PEERDNS=no
DEMAND=no

# IPv6 設定，不需要了話也可以不用設定
PPPD_EXTRA="ipv6 ,"
IPV6INIT=yes
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
IPV6_PRIVACY="yes"
IPV6_AUTOCONF="yes"
#IPV6PPPAUTOCONF=yes

然後在 /etc/ppp/ 資料夾下寫入密碼相關設定

pppoe-server-options
```
require-pap
login
lcp-echo-interval 10
lcp-echo-failure 2
```
chap-secrets 跟 pap-secrets 都寫上 (不過我覺得感覺只要寫 pap 就好)
```
"USERNAME" * "PWD"
```

Linux 小指令

Mon, 09 Aug 2021 07:48:37 +0800

Change default editor

For global

sudo update-alternatives --config editor
# 然後選擇數字

For one user

select-editor

or in .bashrc

export EDITOR='vim'
export VISUAL='vim'

Add groups

Change main group

sudo groupadd mynewgroup # Add a new group
usermod -g groupname username
groups username

Add secondary group
```
sudo usermod -aG groupname username
```

password policy

vim /etc/pam.d/common-password

password required pam_cracklib.so minlen=8 # 最短 8 digits

SSH

SSH Keep Alive

Client side

~/.ssh/config

Host *
ServerAliveInterval 240

chmod 600 ~/.ssh/config

Server Side

/etc/ssh/sshd_config

ClientAliveInterval 60
ClientAliveCountMax 2

SSH Tunnel

![]( =400x)

Normal Tunnel (Local Port Forward)
- 正常情況下，你希望你的封包先過一台機器(Server Side)，再用這台機器出去，達到 VPN 的效果，你如果可以直接對這台機器(Server Side) SSH，便可以用正常的 SSH Tunnel
- 指定碰到 client 的 port 就等於碰到 server 的 port
- Client
```
ssh -L [bind_address:]port:host:hostport user@host_ip
```
Reverse Tunnel (Remote Port Forward)
- 如果你希望封包進入一台無法 SSH 的機器(Server Side)，可能是再公司防火牆內的機器，對於開 SSH Session 只能由內往外開，不能由外往內開，這時候就需要先再 Server Side 主動開 Reverse SSH Tunnel，把 port bind 再 Client Side 上的某個 port，再由 client side 戳 localhost 的這個 port
- Server:
```
ssh -R 2222(bind to client port):localhost(server / server 可碰到):22(server port) user@client_ip
```
- Client:
```
nc -v localhost 2222
```
Socket Proxy (Dynamic Port Forward)
- 正常情況下，你希望你的封包先過一台機器(Server Side)，再用這台機器出去，達到 VPN 的效果，同時不需要指定碰到 client 的 port 就等於碰到 server 的 port
- Client
```
ssh -D [bind_address:]port user@server_ip
```