Note | Chia-An Lee

Cisco Router 設定

Mon, 09 Aug 2021 07:48:37 +0800

Password Recorivy

Power ON, CTRL-break
confreg 0x2142
reload
enable
copy startup-config running-config
no shutdown: open port
change password
config-register 0x2102: get back to normal boot

7609

洗掉 config

enable
write erase
reload
這時候可能 default reboot 會進入 Romman 狀態，繼續下 boot 會來到正常狀態
下 configreg 0x2102 (或 configreg 0x2101) 讓開機直接進到正常狀態

Reset

Routing

vrrp

作 gateway 備援使用
有三種狀態 初始狀態(Initialize)、主狀態(Master)、備援狀態(Backup)

NX-OS

沒有權限時，重設 admin 密碼

開機
按 ctrl-C 或 ctrl-R
進入 loader>
loader> dir 看有哪些 boot file
boot n3000-xxx 選擇你要 boot 的檔案 (可能選有 kickstart 的)
進入 switch(boot)#
conf t -> admin-password -> 輸入 admin 密碼 -> exit
dir bootflash: 列出有的開機檔案
load bootflash:n3000-xxx 選擇以 xx 檔案開機
帳號: admin, 密碼: 剛剛設定的
進入系統後，記得要把 kickstart 與 system 指向對的地方
conf t -> boot kickstart n3000-xxx -> boot system n3000-kickstart-xxx
如果沒做上面的動作，有可能 reload 後會回到 loader>

恢復原廠設定

enable
write erase
reload
如果 reload 卡在 loader，做上面的動作，並記得指向正確的 system 與 kickstart

Cisco Switch 設定

Mon, 09 Aug 2021 07:48:37 +0800

2960

不知道後面接啥就 “?” 一下嚕~~
Vlan31: 17網段
Vlan14: 168網段

刷新

開機時長按 mode 鍵，直到燈號快閃
flash_init
del flash:config.text
del flash:vlan.dat
boot

Console

connect
- Serial -> Serial port(在裝置管理員看的到) -> 9600
- screen /dev/tty.usbmodem145231 9600
跳過init自己設
show version: 看版本
logging synchronous: 避免 log 擋住正在打的訊息

Command

copy running-config startup-config: 存config
enable/disable: 可以開始寫入/結束
clock set {hh:mm:ss} {day} {month} {year}: 設定時間
show running-config

Config

config t: 進入改 config 模式 (下列的指令都要在 config 模式下修改)
hostname {myhostname}
clock timezone CST 8 (CST 只是名字，沒有意義)
no ip http server: 將 HTTP server 關掉
no ip http secure-server
username {name} password {clear password}: 設定帳號密碼
service password-encryption: 密碼加密
spanning-tree mode rapid-pvst: 使用 rapid-pvst 網路拓樸
service timestamps log datetime localtime year show-timezone: 讓 log 有時間戳記
ip name-server {CC 的 nameserver(140.113.235.1)}: 讓 DNS work
ip default-gateway {通常網段最後一個}
ntp server ntp.cc.cs.nctu.edu.tw: 設ntp server
security passwords min-length 8: pw 最短長度

ssh setting

ip domain-name {your domain}
ip ssh version 2: 用 version 2 的 ssh server
crypto key generate rsa
- 打自己喜歡的數字
line vty 0 15
transport input ssh
login local
username {name} privilege 15 password {pw}: 直接把權限提到最高 (15)

限制連線 ip (config t)

access-list 1 permit host {ip}: 在 access-list 1 下設定 access 規則 (只允許某 ip 連入)
line vty 0 15: 進入 vty
access-class 1 in: 限制只有 access-list 1 下的規則才能連進來(in)

Vlan setting

interface Vlan 31
ip address {your IP} {your mask}: 將 Vlan 對上 static ip
no shutdown: 不要關掉這個 Vlan
no interface Vlan{num}: 如果不小心開啟不要的 interface，可以用這個指令把他關掉

網路孔

將 port 接到 Vlan 上

interface gigabitEthernet 0/1: 進入 no.1 port
interface range gigabitEthernet 0/1 - 24: 上面的range版
switchport access vlan 31: 將 port 接到 Vlan 31 上
shutdown: 如果要那個 port 不能連網，記得要關掉

trunk

interface gigabitEthernet 0/48
switchport mode trunk
switchport access vlan {Vlan id}: 當 trunks 不 works 時，該用那一個 vlan <- 但是如果用 switchport mode trunk，就不會有這個問題 (trunk 死掉就直接死掉)
switchport trunk allowed vlan 14,31

描述

interface gigabiteEthernet 0/1: 進入 port
description {要寫的描述}

3750

Connect

mac
- screen /dev/tty.usb… 9600
- 或者下載
Windows

Reset

指令

> en
# write earse
# reload
System configuration has been modified. Save? [yes/no]: n
Proceed with reload? [confirm] y
...
Model revision number: 02
...
Would you like to enter the initial configuration dialog? [yes/no]: n

物理

Misc

no ip domain-lookup: 關閉 DNS 查詢功能
- 預設情況下，Router的DNS查詢是啟用的。
- 當輸入Cisco IOS無法識別的指令時，Router會把這個指令視為主機名稱，然後向DNS查詢。
- 但是這個無用的查詢是非常耗時的，若沒有需要可以關閉!!
switch 1 provision ws-c3750g-24ts: 3750 可以作 stack，這個跟這台 3750 是在 stack 上的哪一台有關

DHCP 設定

Mon, 09 Aug 2021 07:48:37 +0800

Server

CentOS

lease: /var/lib/dhcpd/dhcpd.leases

config: /etc/dhcp/dhcpd.conf

option domain-name "calee.xyz";
option domain-name-servers 140.113.235.1, 1.1.1.1, 9.9.9.9, 8.8.8.8;

default-lease-time 600;
max-lease-time 7200;

# Use this to send dhcp log messages to a different log file (you also
# have to hack syslog.conf to complete the redirection).
log-facility local7;

# A slightly different configuration for an internal subnet.
subnet 192.168.1.0 netmask 255.255.255.0 {
 range 192.168.1.0 192.168.1.254;
 option domain-name-servers 140.113.235.1, 1.1.1.1;
 option domain-name "pve.calee.xyz";
 option routers 192.168.1.1;
 option broadcast-address 192.168.1.254;
 default-lease-time 600;
 max-lease-time 7200;
}
host DESKTOP-A6UOSVB {
 hardware ethernet 82:20:3d:cf:32:79;
 fixed-address 192.168.1.2;
}

host DESKTOP-04E99PF {
 hardware ethernet 72:0e:c8:c3:6c:1c;
 fixed-address 192.168.1.3;
}

Client

Linux

Renew: dhclient -r

Windows

Renew: ipconfig /renew

MacOS

Docker

Mon, 09 Aug 2021 07:48:37 +0800

參考資料

安裝

Ubuntu

sudo apt-get install apt-transport-https ca-certificates curl software-properties-common
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -
sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable"
sudo apt-get update
sudo apt-get install docker-ce

CentOS

sudo yum install -y yum-utils device-mapper-persistent-data lvm2
sudo yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
sudo yum install docker-ce

單位

映像檔(image)
- 類似 docker 的模板
- image 類似模板，要用 image 開出來的 container 才能用
- 名詞
  - NAME
  - DESCRIPTION: 描述
  - AUTOMATED
  - REPOSITORY (倉庫)
  - TAG: 標記，通常會存版本號
  - IMAGE ID: image 被抓下來時，隨機產生的唯一 ID
Dockerfile
- 將 docker 與相關安裝執行指令寫成操作檔案
容器(container)
- 建立出來的執行實力
- 基本上是基於 image 在跑得 => 開出 container 後不能將 image 刪掉，or 可能會跑不動
- 可以用 image 創
- 可以用 Dockerfile 創
- 可以被啟動、開始、停止、刪除
倉庫(Registry)
- Public Hub
- Private Hub

指令

Hub

docker search [image]
- 從 Docker Hub 上搜尋是否有相關名字的 docker image
docker pull [image]
- 將 docker image 從 Docker Hub 上下載下來
docker login
- 登入 Docker Hub
docker push [image]
- 把 docker image 推上 Docker Hub
- 基本上倉儲相關指令與 Git 相同
- 注意：docker push 必須有 namespace，也就是當初對 images 命名時，要記的命成 username/imagename

Image

docker images
- 將所有的 docker image 列出
docker run [image]
- 啟動一個 container
- 通常後面會接一個操作指令，操作完就結束 container
  - e.g. docker run Ubuntu /bin/echo "Hello World"
- -i: 標準輸入保持打開
- -t: 讓Docker分配一個虛擬終端（pseudo-tty）並綁定到容器的標準輸入上
- 通常 -i -t 會合用
  - e.g. docker run -t -i Ubuntu /bin/bash
- -d: 進入背景執行
docker rmi [image]
- 刪除 image
docker commit [OPTIONS] CONTAINER [REPOSITORY[:TAG]]
- OPTIONS
  - --author, -a: 作者
  - --message, -m: commit message
- container
  - 要 commit 的 container => commit 完後便會變成新的 image
- REPOSITORY
  - 如果想要對產出的 image 做命名
docker load/save IMAGE
- 匯入 or 匯出(儲存) image (像是存成 .tar)
docker build [Dockerfile]
- 從 Dockerfile 編譯

Container

docker ps
- 列出目前在執行的 container
- -a: 列出全部的 container(包含關機的)
docker start [CONTAINER ID / CONTAINER NAME]
- 啟動關機的 container
docker stop [CONTAINER ID / CONTAINER NAME]
- container 關機
- 關機後會留下殘骸 => 可以再次開啟
docker restart [CONTAINER ID / CONTAINER NAME]
- 重新開機
docker logs [CONTAINER ID / CONTAINER NAME]
- 列出這個 container 曾經的 stander output
docker exec [CONTAINER ID / CONTAINER NAME]
- 將在背景執行的 container 提出來
- 通常配合 -i -t，回到互動視窗
docker rm [CONTAINER ID / CONTAINER NAME]
- 刪除 conatiner
docker import / export CONTAINER
- 匯入 or 匯出 container
- -o NAME.tar: 指定匯出格式 (ex .tar)

Data Volumes

分別有 Data Volumes 與 Data Valume Container 兩種

Data Valumes
- 將主機目錄對應到容器中，類似 mount
- docker run -v {容器內資料夾} IMAGE: 會在主機內建一個資料夾掛載上去
- docker run -v {主機內資料夾}:{容器內資料夾} IMAGE: 直接用已存在的資料夾掛載
- 可以多個容器掛載到同一個主機資料夾
- 多個 -v 參數可以掛載多個資料夾
- 容器內資料夾一定要是絕對路徑，主機則不一定
- 預設為 rw，可用 docker run -v {主機內資料夾}:{容器內資料夾}:ro IMAGE 改成唯讀
Data Valume Container

Attach Device

USB:
- docker run --device=/dev/ttyUSB0 -it ubuntu /bin/bash
NVIDIA GPU:
- docker run --device=/dev/nvidia0 -it ubuntu /bin/bash

RESTful API

修改 /etc/docker/daemon.json

{
 "live-restore": true,
 "group": "dockerroot",
 "insecure-registries": ["0.0.0.0:5000"],
 "hosts": [
 "unix:///var/run/docker.sock",
 "tcp://0.0.0.0:2375"
 ]
}

以 jupyter/tensorflow-notebook 為例，開啟 RESTful api 後，docker CLI 指令要用 Root 執行

sudo docker pull jupyter/tensorflow-notebook

修改完後，重啟 docker service: sudo systemctl restart docker

參考:
參考:

操作

docker version:

curl -X GET http://localhost:2375/version

docker pull jupyter/tensorflow-notebook:

curl -X POST http://localhost:2375/images/create?fromImage=jupyter/tensorflow-notebook

docker images:

curl -X GET http://localhost:2375/images/json

docker create -p 8080:80 jupyter/tensorflow-notebook:

curl -H "Content-Type: application/json" http://0.0.0.0:2375/containers/create?name=tensor -d '{
 "Image": "jupyter/tensorflow-notebook",
 "HostConfig":{
 "Memory": 4194304,
 "NanoCPUs": 2000000000,
 "PortBindings": {
 "80/tcp": [{"HostPort": "8080"}]
 },
 "Dns": ["8.8.8.8"],
 "Devices": [{
 "PathOnHost": "/dev/nvidia0",
 "PathInContainer": "/dev/nvidia0",
 "CgroupPermissions": "rwm"
 }]
 }
}'

docker ps -a:

curl -X GET http://localhost:2375/containers/json?all=true

docker start tensor:

curl -X POST http://localhost:2375/containers/tensor/start

docker stop tensor:

curl -X POST http://localhost:2375/containers/tensor/stop

docker rm tensor:

curl -X DELETE http://localhost:2375/containers/tensor?v=true

Nvidia-docker

有 cuda 但沒有 cudnn

魔改

下載 cudnn:
解安裝到 jupyter/driver (之後會一起 mount 進 container):
```
tar -xzvf cudnn-9.0-linux-x64-v7.tgz
```
開啟一個 container volumn
```
docker volumn create cudnn
```

把 container volumn 與 jupyter folder 同時 mount 入 container

docker run --runtime=nvidia -v /home/intern2018/NCHC-docker-test/jupyter:/jupyter -v cudnn:/cudnn -it calee0219/jupyter-docker

照 doc 安裝 cudnn (複製貼上、修改權限):

cp /jupyter/driver/cuda/include/cudnn.h /usr/local/cuda/include
cp /jupyter/driver/cuda/lib64/libcudnn* /usr/local/cuda/lib64
chmod a+r /usr/local/cuda/include/cudnn.h /usr/local/cuda/lib64/libcudnn*

測試

改環境變數指向

export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH

測試 script

import sys
import numpy as np
import tensorflow as tf
from datetime import datetime

device_name = sys.argv[1] # Choose device from cmd line. Options: gpu or cpu
shape = (int(sys.argv[2]), int(sys.argv[2]))
if device_name == "gpu":
 device_name = "/gpu:0"
else:
 device_name = "/cpu:0"

with tf.device(device_name):
 random_matrix = tf.random_uniform(shape=shape, minval=0, maxval=1)
 dot_operation = tf.matmul(random_matrix, tf.transpose(random_matrix))
 sum_operation = tf.reduce_sum(dot_operation)

startTime = datetime.now()
with tf.Session(config=tf.ConfigProto(log_device_placement=True)) as session:
 result = session.run(sum_operation)
 print(result)

# It can be hard to see the results on the terminal with lots of output -- add some newlines to improve readability.
print("\n" * 5)
print("Shape:", shape, "Device:", device_name)
print("Time taken:", str(datetime.now() - startTime))

將 /usr/local/cuda/ 全部丟入 container volumn 內
```
cp /usr/local/cuda/* /cudnn
```

之後都把 container volumn mount 到 /usr/local/cuda/

docker run --runtime=nvidia -v /home/intern2018/NCHC-docker-test/jupyter:/jupyter -v cudnn:/usr/local/cuda/ -it calee0219/jupyter-docker

Dockerfile

GPU

--divice=/dev/nvidia0

file system

Mon, 09 Aug 2021 07:48:37 +0800

fstab

mount NTFS

/etc/fstab

UUID=989CE0C49CE09E4E /home/calee/stg ntfs-3g defaults 0 0

Find UUID

it’s a symbolic link to /dev/sd_

ls -l /dev/disk/by-uuid

檢視分割磁碟區

sudo apt install gparted
sudo gparted

link

ln -s TARGET(src) LINK_NAME(dst) # soft link

firewalld 設定

Mon, 09 Aug 2021 07:48:37 +0800

firewalld

sudo firewall-cmd --get-default-zone
sudo firewall-cmd --set-default-zone=internal
sudo firewall-cmd --get-active-zones
sudo firewall-cmd --list-all-zones

換腳

firewal-cmd --permanent --zone=public --remove-interface=ens34
firewall-cmd --permanent --zone=internal --add-interface=ens34

Allow / Deney port

sudo firewall-cmd --zone=public --add-port=12345/tcp --permanent
sudo firewall-cmd --zone=public --remove-port=12345/tcp --permanent

src-nat

先設定網卡的 zone

sudo nmcli c mod eth1 connection.zone internal
sudo nmcli c mod eth2 connection.zone external
firewall-cmd --get-active-zone

允許封包轉送

sudo firewall-cmd --direct --add-rule ipv4 nat POSTROUTING 0 -o [WAN] -j MASQUERADE
sudo firewall-cmd --direct --add-rule ipv4 filter FORWARD 0 -i [LAN] -o [WAN] -j ACCEPT # -i 是 input, -o 是 output
sudo firewall-cmd --direct --add-rule ipv4 filter FORWARD 0 -i [WAN] -o [LAN] -m state --state RELATED,ESTABLISHED -j ACCEPT
sudo firewall-cmd --reload

dst-nat

做 masquerade

sudo firewall-cmd --zone=external --add-masquerade --permanent
sudo firewall-cmd --zone=internal --add-masquerade --permanent
sudo firewall-cmd --reload

same server

sudo firewall-cmd --zone="public" --add-forward-port=port=80:proto=tcp:toport=12345 --permanent

different server

sudo firewall-cmd --zone=external --add-masquerade --permanent
sudo firewall-cmd --zone=external --add-forward-port=port=80:proto=tcp:toport=8080:toaddr=123.456.78.9 --permanent

GitHub 入門

Mon, 09 Aug 2021 07:48:37 +0800

GitHub 註冊

首先到
點下網站上的Sign Up
依網站要求輸入相關資料
帳號開通後即完成！！

安裝Git

Windows

首先到下載Git for windows安裝檔
執行安裝檔安裝Git
安裝完後, 電腦上應該會出現一個Git Bash程式, 按下並執行Git Bash

Linux

sudo apt-get install git // debian or ubuntu
sudo yum install git-core //fedora
sudo dnf install git // fedora 24 or upper

MAC

brew install git

Git基本觀念

可以看的第一章了解git版本控制基本觀念
git 三類
- tracked (被追蹤的檔案，有做過 git 版控的檔案皆為此類)
- ignored (忽略的檔案，此類檔案不會被追蹤，須寫在 .gitignore 裡)
- untracked (未被追蹤的，剛新增的檔案皆為此類)
git 三狀態
- working directory (工作狀態，未做任何版本控制，此狀態內修改的code都是不可逆的)
- staging area (版控站存區，working directory 的 code 皆可被這裡的 code 複寫回原來的版本，但若此區的檔案被更新，則無法回復之前在 staging area 的 code)
- repository (進入版控的 code，此區的 code 有許多節點，修改過的 code 可回復到此區的任意節點)
git / GitHub 術語
- repo: repository 縮寫
- merge: 兩份同一個專案的 code 互相衝突時，檢查檔案是否有衝突的地方，若無，合併檔案，法之修改衝突的部分後合併檔案
- pull request (PR): 要求他人將你的更新 merge 到他的 repo 中

git 基礎指令

:::info 指令中有[]者表示括號中內容依使用者的需求自填，"[" ＆ “]“不須下在指令中 :::

git init
- 新創一個git repository
git status
- 查看目前專案目錄狀態
git branch
- 查看目前所有分支(有打星號的分支)
- 創建新分支：git branch [newBranchName]
- 切換分支：git checkout [branchName]
git add [fileName]
- 將檔案加到暫存區stage, 在stage的檔案就是準備要commit的檔案
git commit
- 將所有已經加到stage的檔案提交到repository, 需要輸入提交訊息來紀錄這次提交
- 通常會搭配 -m 參數使用, 此參數可以讓你在下commit指令時同時順便輸入簡易的提交訊息
git merge
- 合併兩個分支
- 指令：git branch [firstBranch] [secondBranch]
- 上述指令會將secondBranch合併到firstBranch中
- 合併完且不再需要的branch可以下git branch -d [branchName]刪除
git log
- 查看歷次提交的相關資訊
- 若只要看線圖可以加上 --graph --oneline --decorate --all四個參數
git push
- 將本地分支提交到遠端伺服器
- 若遠端分支有更新，push會失敗，必須先pull遠端更新才能push本地更新
- 完整指令：git push [remoteRepositoryName] [localBranchName]
- 若你的repository是從gitHub clone下來的，reomteRepositoryName會是origin
git pull
- 把遠端更新下載回本地端並與本地端分支合併
- 類似把 git fetch 及 git merge 一起做的指令
- 完整指令：git pull [remoteRepositoryName] [localBranchName]
- 可以加入--rebase參數讓線圖更漂亮
git –help
- 查看git幫助訊息

專案協作

git clone
- 複製git server 的 repository 到 local 端

Step by step

對於 moztw 的專案，如果你不想要知道他們到底是幹什麼的，只要可以讓你可以做就好的話…

到 moztw 的，右上方按 fock ，複製到自己的 GitHub 上
到自己 fork 的 repo ，按右上方 Clone or download，將看到的網址複製下來
到你的電腦，下 git clone [剛剛的網址] 的指令，等待電腦下載完成
到 moztw issue 尋找你想要改的 bug 或新增的 feature
點入 issue 後可以查看詳細內容
針對你要貢獻的 issue，編輯你需要修改的檔案，在編輯前，記得先讀過一些 coding 的
若想看修改的結果，可以 npm 的方式運行，運行方式
編輯完成後，下 git status 可以看到你所修改的檔案變成 modified (紅色的) 狀態，若是新檔案則是 untracked files 狀態
若已經確認某檔案將不再修改，可以下 git add [filePath] 將檔案放到暫存區 (staging area) 準備commit
add完所有需要提交的檔案後，就可以下 git commit -m "Fix issue [issue No.], [yourCommitMessage]" 將檔案提交到repository了，記得要把 issue No. 寫在你的 commit 裡，pull request 時管理員才能知道你修的是哪個 issue
確認所有檔案都以完成提交，下 git push origin master 上傳到你 GitHub 上的 repo
確認你 GutHub repo 上的檔案是正確的後，按左上方的 new pull request 完成你的 pull request
坐等你的 pull request 被 merge 或被退回吧~~~

如何運行 moztw

安裝
- windows 下安裝即可
- Ubuntu / Debian 下，在 terminal 下 sudo apt install nodejs npm 指令
- Fedora 下，在 terminal 下 sudo dnf install nodejs npm 指令
- Mac 下，在 terminal 下 brew install node 指令
用 terminal (linux/mac) 或 cmd (windows) 到你 moztw 所在的資料夾下
下 npm install 安專所需的套件，然後下 npm start 運行網頁
在瀏覽器裡打開 localhost:3000 即可看到你下載下來的網頁，之後對資料夾內檔案做修改，網頁都會自動更新

附錄

iptables 使用小記

Mon, 09 Aug 2021 07:48:37 +0800

iptables

iptables [-t table] command CHAIN [NUM] match criteria -j ACTION
CHAIN
- -N: (new) new a chain
- -X: delete chain
- -F: flush all chain
- -Z: zero the pkg counter
- -P: policy of chain
- -E: rename
rule
- -A: append rule
- -I: insert rule to number
- -R: replace
- -D: delete
LIST
- -L: list
- -S: Specification
- -n: user number to show
- -v: verbose
- -x: show msg
- –line number: show line number

DST-NAT

sudo sysctl net.ipv4.ip_forward=1
sudo iptables -t nat -A PREROUTING -j DNAT -p tcp --to-destination 192.168.15.254:80 -i ens19

Jupyter 設定

Mon, 09 Aug 2021 07:48:37 +0800

Install

pip install jupyter

sudo pip3 install --upgrade pip
sudo pip3 install jupyter

Error

ModuleNotFoundError: No module named '_sqlite3'
ModuleNotFoundError: No module named 'pysqlite2'

Used

start

cd /要用來存資料的資料夾/
jupyter notebook

參數

--ip
--port
--no-browser
--help

config

環境設定

ipython --ipython-dir= # override the default IPYTHONDIR directory, ~/.ipython/ by default
ipython profile create foo # create the profile foo
ipython profile locate foo # find foo profile directory, IPYTHONDIR by default,
ipython --profile=foo # start IPython using the new profile

產生設定檔

jupyter –-generate-config

會在產生 ~/.jupyter/jupyter_notebook_config.py 設定檔

jupyter server

產生設定檔

jupyter notebook --generate-config

產生密碼

jupyter notebook password

會在 jupyter_notebook_config.json 存密碼的 hash value，需要把它丟到 jupyter_notebook_config.py 裡的 c.NotebookApp.password =

修改設定檔

# Set options for certfile, ip, password, and toggle off

# Set ip to '*' to bind on all interfaces (ips) for the public server
c.NotebookApp.ip = '*'
c.NotebookApp.password = u'sha1:bcd259ccf...<your hashed password here>'
c.NotebookApp.open_browser = False

# It is a good idea to set a known, fixed port for server access
c.NotebookApp.port = 9999

Jupyter Daemon

檔案：/lib/systemd/system/jupyter.service

[Unit]
Description=Jupyter Notebook

[Service]
Type=simple
PIDFile=/run/jupyter.pid
# Step 1 and Ste 2 details are here..
# -----------------------------------
ExecStart=/usr/local/bin/jupyter-notebook --config=/home/calee/.jupyter/jupyter_notebook_config.py
User=calee
Group=calee
WorkingDirectory=/home/calee/Project/Jupyter
Restart=always
RestractSec=10
#KillMode=mixed

[Install]
WantedBy=multi-user.target

執行

sudo systemctl start jupyter.service
sudo systemctl daemon-reload
sudo systemctl restart jupyter.service
sudo systemctl enable jupyter.service

NGINX proxy setting

位置：/etc/nginx/sites-enabled/notebook.conf

upstream notebook {
 server localhost:8888;
}
server{
 listen 80;
 server_name notebook.calee.xyz;


 location / {
 proxy_pass http://notebook;
 proxy_set_header Host $host;
 }

 location ~ /api/kernels/ {
 proxy_pass http://notebook;
 proxy_set_header Host $host;
 # websocket support
 proxy_http_version 1.1;
 proxy_set_header Upgrade "websocket";
 proxy_set_header Connection "Upgrade";
 proxy_read_timeout 86400;
 }
 location ~ /terminals/ {
 proxy_pass http://notebook;
 proxy_set_header Host $host;
 # websocket support
 proxy_http_version 1.1;
 proxy_set_header Upgrade "websocket";
 proxy_set_header Connection "Upgrade";
 proxy_read_timeout 86400;
 }
}

Restart Nginx

sudo systemctl restart nginx

LDAP

Mon, 09 Aug 2021 07:48:37 +0800

freeIPA

OpenLDAP

Server

NFS

NIS

LDAP

Client

NFS

NIS

LDAP

需要下載

 sudo yum update && yum install openldap openldap-clients nss-pam-ldapd

複製 server 端的 CAe

產生 config

authconfig --enableldap --enableldapauth --ldapserver=ldaps://ldaps.cs.nctu.edu.tw --ldapbasedn="dc=cs,dc=nctu,dc=edu,dc=tw" --update

設定檔: /etc/openldap/ldap.conf :

BASE dc=cs,dc=nctu,dc=edu,dc=tw
URI ldaps://ldaps.cs.nctu.edu.tw/
TLS_REQCERT allow
TLS_CIPHER_SUITE=AES256
TLS_CACERTDIR /etc/ssl/certs/csrootca.crt

filter passwd (memberof=cn=cs-ta,ou=MemberGroup,dc=cs,dc=nctu,dc=edu,dc=tw) # 如果要限制只有 cs-ta groups 的資訊才會被透過 LDAP 進來了話

重啟服務

sudo systemctl restart nslcd
sudo systemctl restart nscd

檢查

ldapsearch -D "uid=calee,ou=People,dc=cs,dc=nctu,dc=edu,dc=tw" -W uid=xxx

ypwhich : 查詢 NIS Server
ypchsh：改變 NIS 上使用者登入的 Shell
ypchfn：改變 NIS 上使用者的完整名稱跟相關資訊，也就是 /etc/passwd 中的第五個欄位
ypmatch：查詢 NIS map 的 KEY
yptest：測試 NIS 的設定，如果可以跑出來 NIS 上的使用者則代表可以查詢

-D uid 裡面的是去登入 ldaps.cs.nctu.edu.tw 的帳號，之後問問密碼，使用 uid 使用者的密碼登入搜尋

Cache Solution

SSSD
NSCD

Linux 上密碼相關設定

Mon, 09 Aug 2021 07:48:37 +0800

Password Policy

密碼品質檢查，這個功能是透過 pam 時做，避免 user 弱密碼導致 ssh 或其他服務被破解 (man pam_pwquality)

修改方法

Debian 系統預設沒有 pwquality，需要先安裝: sudo apt-get install libpam-pwquality
可以直接修改 /etc/pam.d/ 檔案，直接接在 pam_unix.so 當行最後用空白隔開
修改 /etc/security/pwquality.conf 檔案 [rpm_pam] 或用 authconfig 指令 (Red Hat 系列，自己 man ㄅ)，可以寫在 /etc/pam.d，不過都給 config file 了就用杯

設定內容

密碼最小長度: minlen=12 dcredit=0 ucredit=0 lcredit=0 ocredit=0 # 最少 12 char，後面 credit 要記得加，理由後述
密碼複雜度:
- 其實前面的 minlen 並不完全是密碼最小長度，而是密碼最少應得分數。計算方式是每個字元 +1，另外將字元分類成四類，分別再給一分，但另給的分數有上限:
  - ucredit=3: 密碼如果包含 upper-case 大寫字母最多多給分數
  - lcredit=2: 密碼如果包含 lower-case 小寫字母最多多給分數
  - dcredit=1: 密碼如果包含 digit-case 數字字母最多多給分數
  - ocredit=0: 密碼如果包含 other-case 其他字母最多多給分數 (eg. 符號)
  - 分數加總後便是總所得分數，以上例來看，$$$$$$$a 得分為 8+0+1+0+0，符號沒額外得分，小寫單字額外一分。而 $$$$$aaa 得分為 8+0+2+0+0，小寫單字做多額外兩分，不會給超過。
  - 故得知，如果只寫 minlen=12，會因為有額外分數而可以少於 12 字元
- 也可以不用得分來算複雜度，而是直接用管理員想要的數量，只要將所想要的數字加負號 (common)
  - ucredit=-1: upper-case 大寫字母最少 1 個
  - lcredit=-2: lower-case 小寫字母最少 2 個
  - dcredit=-3: digit-case 數字字母最少 3 個
  - ocredit=-4: other-case 其他字母最少 4 個

其他參考 /etc/security/pwquality.conf:

retry=3 # 最多可以是錯幾次
difok=5 # 新密碼中不可出現跟舊密碼相同字串長度 (eg. 舊: abcdef，新密碼不可以是 abcdez)
minclass=3 # 最少一定要出現幾種字元 (大寫、小寫、數字、其他)，好處是不用限定一定要哪一種
maxrepeat=0 # 最大可重複字元次數，0 是不檢查 (!) (eg. =3，則不能有 26aaaac)
maxclassrepeat=0 # 同一種類的字元最多可以重複出現的次數，0 是不檢查
gecoscheck=0 # 會從 /etc/passwd 的 GECOS 欄位檢查是否有跟密碼重複超過 3 個字元串，簡單來說就是為了避免用身分資料來合成密碼，0 是不檢查，只有 True False (由 pam_cracklib 檢查)
dictcheck=1 # 字典攻擊檢查，由 pam_cracklib 的字典來查找，選項 True False
usercheck=1 # 檢查是否有 username 組成的密碼
enforcing=1 # 密碼規則建議或強制，預設 1 是強制
badwords=gura inna # 自訂一不合法字串
enforce_for_root # 如果使用者用 sudo passwd 也會強制檢查密碼，不然預設只會警告 (用 sudo 時)
local_users_only # 只檢查有在 /etc/passwd 的密碼
ucredit=0
lcredit=0
dcredit=0
ocredit=0

Password Expiration

密碼過期，可以設定密碼有效期限，或是請使用者登入時修改密碼 (方便用於幫使用者亂數生成密碼給他後請他第一次登入修改密碼)

login.defs

這份檔案類似模板，只會影響到新加的使用者，對於已經存在的使用者並不影響

PASS_MAX_DAYS 1234 # 密碼最多用幾天 (要換)
PASS_MIN_DAYS 0 # 密碼幾天內不能修改
PASS_WARN_AGE 7 # 密碼到期前幾天開始提醒

chage

修改現存使用者的密碼到期時間

chage [options] LOGIN:

-d: 修改 “上一次修改時間”，可用 YYYY-MM-DD 格式或從 1970/01/01 開始算的天數
-E: 修改到期時間，可用 YYYY-MM-DD 格式或從 1970/01/01 開始算的天數
-h: help
-I: 密碼到期後 N 天會直接把使用者鎖掉
-l: list，顯示資料
-m: min，密碼幾天內不能修改
-M: max，密碼最多用幾天
-R: 應用 chroot，也許是到期後把使用者 chroot 到低權限的家目錄 (?)
-W: 密碼到期前幾天開始提醒

迫使使用者換密碼

通常一些系統我們可能為了避免知道使用者密碼，會亂數生成密碼給他，再請他登入後自己 passwd 改密碼，但如何避免使用者懶得改呢?

其實密碼到期後的下一次登入，系統並不會讓使用者無法登入，而是登入後迫使他改密碼，因此我們可以將使用者設定成密碼到期，便可以讓系統請他改密碼

passwd --expire $USER: 用 passwd 版本
chage -d 0 $USER: 用 chage 版本，其實就是把他的到期日期設定成 1970/01/01

Remember

避免使用者設定以前設定過的密碼

在 /etc/pam.d 下的檔案 (common-password 或 system-auth)，password 最後面接 remember=5，代表新密碼不能用前五次內的密碼

Password Generation

mkpasswd: 用你輸入的參數送你密碼
makepasswd --chars 12: 用 urandom 送你一組密碼
pwgen: 送你一堆密碼

P.S.

[rpm_pam]: 理論上要在 /etc/pam.d/passwd 下面多寫 password required pam_pwquality.so retry=3 讓系統知道要用 pam_pwquality，但現在預設應該都有 auth include system-auth，而去翻 system-auth 檔案會發現內部就有寫 pam_pwquality，因此應該是不用特別再寫一次。

Reference

Linux 上的 NVIDIA 驅動

Mon, 09 Aug 2021 07:48:37 +0800

Nvidia driver on Ubuntu

到查看最新版本
- 34x: 傳統架構版本
- 387: 新版短期
- 384: 新版長期
刪除舊版

sudo apt-get purge nvidia*

安裝新版

sudo add-apt-repository ppa:graphics-drivers
sudo apt-get update
sudo apt-get install nvidia-387
sudo reboot # 重開機

檢查

lsmod | grep nvidia

nvidia-smi

cuda

sudo apt install cuda-9
sudo apt install cuda-nvcc-9-1

手動安裝到下載 runfile(local)

sudo sh cuda_9.1.85_387.26_linux.run

檢查注意：gcc 要是 < 6 的版本 @@

cp -r /usr/local/cuda-9.1/samples ./
cd samples
make

cudnn

到下載

cuda 的資料夾要在 /usr/local/cuda/，so 不管裝在哪裡，都給一個 link 到 /usr/local/cuda
ubuntu 版:
- 下載 libcudnn7…deb, libcudnn7-dev…deb, libcudnn7-doc…deb
- 三個都做 sudo dpkg -i

其他

下載壓縮檔
解壓縮: tar -xzvf cudnn-9.0-linux-x64-v7.tgz

安裝:

$ sudo cp cuda/include/cudnn.h /usr/local/cuda/include
$ sudo cp cuda/lib64/libcudnn* /usr/local/cuda/lib64
$ sudo chmod a+r /usr/local/cuda/include/cudnn.h /usr/local/cuda/lib64/libcudnn*

Linux 小指令

Mon, 09 Aug 2021 07:48:37 +0800

Change default editor

For global

sudo update-alternatives --config editor
# 然後選擇數字

For one user

select-editor

or in .bashrc

export EDITOR='vim'
export VISUAL='vim'

Add groups

Change main group

sudo groupadd mynewgroup # Add a new group
usermod -g groupname username
groups username

Add secondary group
```
sudo usermod -aG groupname username
```

password policy

vim /etc/pam.d/common-password

password required pam_cracklib.so minlen=8 # 最短 8 digits

SSH

SSH Keep Alive

Client side

~/.ssh/config

Host *
ServerAliveInterval 240

chmod 600 ~/.ssh/config

Server Side

/etc/ssh/sshd_config

ClientAliveInterval 60
ClientAliveCountMax 2

SSH Tunnel

![]( =400x)

Normal Tunnel (Local Port Forward)
- 正常情況下，你希望你的封包先過一台機器(Server Side)，再用這台機器出去，達到 VPN 的效果，你如果可以直接對這台機器(Server Side) SSH，便可以用正常的 SSH Tunnel
- 指定碰到 client 的 port 就等於碰到 server 的 port
- Client
```
ssh -L [bind_address:]port:host:hostport user@host_ip
```
Reverse Tunnel (Remote Port Forward)
- 如果你希望封包進入一台無法 SSH 的機器(Server Side)，可能是再公司防火牆內的機器，對於開 SSH Session 只能由內往外開，不能由外往內開，這時候就需要先再 Server Side 主動開 Reverse SSH Tunnel，把 port bind 再 Client Side 上的某個 port，再由 client side 戳 localhost 的這個 port
- Server:
```
ssh -R 2222(bind to client port):localhost(server / server 可碰到):22(server port) user@client_ip
```
- Client:
```
nc -v localhost 2222
```
Socket Proxy (Dynamic Port Forward)
- 正常情況下，你希望你的封包先過一台機器(Server Side)，再用這台機器出去，達到 VPN 的效果，同時不需要指定碰到 client 的 port 就等於碰到 server 的 port
- Client
```
ssh -D [bind_address:]port user@server_ip
```

ICMP Tunnel

MariaDB (MySQL)

Mon, 09 Aug 2021 07:48:37 +0800

安裝

sudo apt install mariadb-server

sudo mysql # 第一次進入

使用者

change password

SET PASSWORD = PASSWORD('new_password');

新增使用者

GRANT ALL PRIVILEGES ON *.* TO 'username'@'localhost' IDENTIFIED BY 'password';
GRANT ALL PRIVILEGES ON *.* TO 'username'@'*' IDENTIFIED BY 'password';
GRANT command PRIVILEGES ON db.table TO 'username'@'localhost' IDENTIFIED BY 'password';

刪除使用者

DROP USER IF EXISTS user

操作

Create New DB

CREATE DATABASE testDB;

Drop DB / table / column / row

DROP DATABASE "db_name"; # DB
DROP TABLE "table_name"; -- table
ALTER TABLE "table_name" DROP "column_name"; /* column */
DELETE FROM "table_name" WHERE condition;

Use .sql file

mysql -p < xxx.sql

Dump DB in / out

mysqlimport --ignore-lines=1 --fields-terminated-by=, --verbose --local -u [user] -p [database] /path/to/address.csv

MikroTik RouterBoard 設定

Mon, 09 Aug 2021 07:48:37 +0800

Reset

斷電時按(插)住 reset 鍵，接電，等到燈光閃爍後，放開
/system reset-configuration

連接

下載官網給的
點開後，在 connect to 的地方打入 MAC address，按 Connect To RoMON，等他自己找到 routerboard
Login 打 admin，Password 留白
Connect

WAN 設定

Static IP

/ip route add gateway={getway} dst-address=0.0.0.0/0: 設定好對外連線的 gateway
/ip address add interface={eth1} address={static ip} network={} netmask={}
/ping 8.8.8.8

DHCP

/ip dhcp-client add interface={port id}
/ip dhcp-client enable: 將他開起來

LAN

NAT

/ip address add interface=ether3 address={192.168.3.1} network={192.168.3.0} netmask={255.255.255.0} <- 這裡的 address 會是下面機器的 gateway，netmask 會是下面機器可以用的網段
/ip firewall nat add chain=srcnat src-address=192.168.2.0/24 action=masquerade: 讓網域下可以用 NAT 對外連線 (srnat: 將內網封包轉到外網)

DHCP

/ip pool add name={name} ranges={x.x.x.x}-{x.x.x.x}: 先開出這個 DHCP Server 要分下去的 range
/ip dhcp-server add name={name} interface={ether1} address-pool={pool name}
/ip dhcp-server network add address={192.168.5.0/24} gateway={192.168.5.1}: 設定 DHCP default gateway
/ip dhcp-server enable

DHCP bind MAC address

/ip dhcp-server lease make-static

Port Forwarding

/ip firewall nat add chain=dstnat action=dst-nat protocol=tcp dst-address={WAN IP} dst-port={外網看得到的 port} to-address={內網 ip} to-ports={內部 port(22/80)}
/ip firewall nat move {4} destination={0}: 將規則往前移動

Security

/password old-password={} new-password={} confirm-new-password={}
/user set 0 address={}
/ip service ssh port={}: 改 ssh port
/system ssh port={}: 改 ssh port

Config

firewall nat

dhcp-server lease

Nagious

Mon, 09 Aug 2021 07:48:37 +0800

介紹

<- 點我

Main Config : 控制Nagios Deamon的行為，這份config會被Deamon和CGIs讀
Resource File: 儲存user-defined macro，權限660
Object Definition File : 定義host, service, hostgroup, command, etc，決定要監控的項目和要如何監控
CGI Config File : 讓Nagios知道main config位置以及你怎麼設定Nagios和object define的位置

Config 內容

主要config檔在 /usr/local/nagios/etc
Nagios額外套件在 /usr/local/nagios/libexec

Debug

/etc/init.d/nagios checkconfig
journalctl -xe

安裝

快速安裝

curl https://assets.nagios.com/downloads/nagiosxi/install.sh | sh

手動安裝

cd /tmp
wget http://assets.nagios.com/downloads/nagiosxi/xi-latest.tar.gz
tar xzf xi-latest.tar.gz
cd nagiosxi
./fullinstall

Web 顯示

cd /etc/httpd/conf.d/

nagios.cfg

<- 點我

log_file=<file_name>
- log_file=/usr/local/nagios/var/nagios.log
- 設定log file的位置，當config有錯誤時，會記錄在這裡，適用rotation
cfg_file=<file_name>
- cfg_file=/usr/local/nagios/etc/hosts.cfg
- object config files位置
cfg_dir=<directory_name>
- cfg_dir=/usr/local/nagios/etc/commands
- object config direction位置，其下的附檔名要是.cfg，會遞迴尋找config file
object_cache_file=<file_name>
- object_cache_file=/usr/local/nagios/var/objects.cache
- default : ‘/dev/null’
- 當Nagios被[re]start，存一份object definition到這裡。
- 在running Nagios時，可以改object definition，而不會影響 Nagios
- 這份檔案被CGIs使用
precached_object_file=<file_name>
- precached_object_file=/usr/local/nagios/var/objects.precache
- 預處理object definition，當object definition很多時，可以加速
resource_file=<file_name>
- resource_file=/usr/local/nagios/etc/resource.cfg
- 放一些重要資訊，CGI不會讀這份檔案，權限設600或660
temp_file=<file_name>
- temp_file=/usr/local/nagios/var/nagios.tmp
- Nagios在更新data時，會創建他，不用的時候會刪除他
temp_path=<dir_name>
- temp_path=/tmp
- scratch space for creating temporary files used during the monitoring process
status_file=<file_name>
- status_file=/usr/local/nagios/var/status.dat
- default : ‘/dev/null’
- store the current status, comment, and downtime information
- CGIs用這份檔案透過web來顯示監控狀況，需要讀取權限
- 每次stop時，這份檔案會被刪掉
status_update_interval=< seconds >
- status_update_interval=15
- 多久更新一次status file，最短1秒
nagios_user=<username/UID>
- nagios_user=nagios
- set the effective user that the Nagios process should run as
nagios_group=<groupname/GID>
- nagios_group=nagios
- set the effective group that the Nagios process should run as
host_down_disable_service_checks=<0/1>
- host_down_disable_service_checks=1
- This option will disable all service checks if the host is not in an UP state
- New config in Version 4
enable_notifications=<0/1>
- enable_notifications=1
- Nagios will send out notifications for any host or service when it initially [re]starts
execute_service_checks=<0/1>
- execute_service_checks=1
- If this option is disabled, Nagios will not actively execute any service checks and will remain in a sort of “sleep” mode (it can still accept passive checks unless you’ve disabled them)
accept_passive_service_checks=<0/1>
- accept_passive_service_checks=1
execute_host_checks=<0/1>
- execute_host_checks=1
- Nagios will execute on-demand and regularly scheduled host checks when it initially (re)starts
- If this option is disabled, Nagios will not actively execute any host checks, although it can still accept passive host checks unless you’ve disabled them
accept_passive_host_checks=<0/1>
- accept_passive_host_checks=1
enable_event_handlers=<0/1>
- enable_event_handlers=1
log_rotation_method=<n/h/d/w/m>
- log_rotation_method=d
log_current_states=<0/1>
- log_current_states=1
- Nagios will log host and service current states at the beginning of a newly created log file after log rotation occurs
log_archive_path=< path >
- log_archive_path=/usr/local/nagios/var/archives/
- This is the directory where Nagios should place log files that have been rotated.
External Command Check Option
- Nagios will check the command file for commands that should be executed
- This option must be enabled if you plan on using the command CGI to issue commands via the web interface
command_file=<file_name>
- command_file=/usr/local/nagios/var/rw/nagios.cmd
- The command CGI writes commands to this file. The external command file is implemented as a named pipe
check_for_updates=<0/1>
- check_for_updates=1
- 自動檢查Nagios有沒有new patch
bare_update_check=<0/1>
- bare_update_check=0

Object definition

define host {
 host_name 這個host的名字，其他define會用到
 alias 類似註解
 address IP或FQDN
 parents 設定為最接近的上游設備(好像沒有用到)
 check_command 檢查這個主機是否正常，若無此項Nagios會認為他是alive的
 check_interval check_command的正常測試間隔，其中的單位定義在Nagios設定的interval_length
 retry_interval check_command的soft status時的重試間隔，達到max_check_attempts就會變為hard status
 max_check_attempts check_command的檢查重試次數
 check_period 執行active check的時段
 process_perf_data 是否會處理performance data
 retain_status_information 是否讀取重開機之前的狀態檔，前提是全域設定的retain_state_information必須設為1
 retain_nonstatus_information 是否不讀取主機狀態檔
 contact_groups 要告警的人員群組，可用 “,” 分隔多個群組
 notification_interval 當狀態持續發生時，兩個告警之間的時間。單位是interval_length
 notification_period 會發送告警的時間
 notification_options 哪幾種狀態才告警，DOWN = d，UNREACHABLE=u，回復到OK的狀態=r，flapping=f，排程關閉狀態=s，都不發送=n
}

安裝

需要工具

yum install unzip wget httpd php php-cli gd gd-devel gcc glibc glibc-common net-snmp

下載主程式

cd /usr/local/src
wget http://liquidtelecom.dl.sourceforge.net/project/nagios/nagios-4.x/nagios-4.3.2/nagios-4.3.2.tar.gz
cd nagios-4.3.2
sudo ./configure --with-command-group=nagioscmd
make all
make install
make install-init
make install-config
make install-commandmode
make install-webconf

下載插件 (/usr/local/nagios/libexec)

cd /usr/local/src
wget http://nagios-plugins.org/download/nagios-plugins-2.2.1.tar.gz
tar xzf nagios-plugins-2.2.1.tar.gz
cd nagios-plugins-2.2.1
./configure --with-nagios-user=nagios --with-nagios-group=nagioscmd
make
make install

Web監控的帳號密碼

注意 : 帳號名稱之間不能有空白

htpasswd -c /usr/local/nagios/etc/htpasswd.users {帳號名稱}
authorized_for_system_information=...,帳號名稱
authorized_for_configuration_information=...,帳號名稱
authorized_for_system_commands=...,帳號名稱
authorized_for_all_hosts=...,帳號名稱
authorized_for_all_service_commands=...,帳號名稱
authorized_for_all_host_commands=...,帳號名稱

設定

nagios.cfg

# 設定Log存放位置
log_file=/var/spool/nagios/nagios.log
# 設定指令參數
cfg_file=/usr/local/nagios/etc/objects/commands.cfg
# 設定聯絡人資訊
cfg_file=/usr/local/nagios/etc/objects/contactgroup.cfg
# 設定CSCC相關聯絡人/群組資訊
cfg_file=/usr/local/nagios/etc/objects/templates.cfg
cfg_file=/usr/local/nagios/etc/objects/cs.cfg
cfg_file=/usr/local/nagios/etc/objects/csgroup.cfg
# 設定監控服務設定檔
cfg_file=/usr/local/nagios/etc/objects/service.cfg
# 將object cache住，避免start/restart時有inconsistencies
object_cache_file=/var/spool/nagios/objects.cache
# 下特殊參數，加速用
precached_object_file=/var/spool/nagios/objects.precache
# 相關resource位置, ex:Nagios額外套件
resource_file=/usr/local/nagios/etc/resource.cfg
# 儲存Nagios偵測結果檔案位置
status_file=/var/spool/nagios/status.dat
# 設定Nagios偵測結果狀態更新的時間區隔
status_update_interval=10
# 設定使用者/群組
nagios_user=nagios
nagios_group=nagios
# Nagios外部檢查命令功能開關，否則CGI不能用
check_external_commands=1
# 檢查時間間隔，預設15s，-1為盡可能的檢查
command_check_interval=-1
command_file=/var/spool/nagios/rw/nagios.cmd
external_command_buffer_slots=4096
# PID資訊
lock_file=/var/spool/nagios/nagios.lock
# Nagios執行時，暫存檔位置
temp_file=/var/spool/nagios/nagios.tmp
# Nagios執行時，暫存目錄位置
temp_path=/tmp
#
event_broker_options=-1
log_rotation_method=d
log_archive_path=/var/spool/nagios/archives
# 使用syslog，開啟通知
use_syslog=1
log_notifications=1
# 1 : 紀錄, 0 : 不紀錄
log_service_retries=1
log_host_retries=1
log_event_handlers=1
log_initial_states=0
log_external_commands=1
log_passive_checks=1
#
service_inter_check_delay_method=s
max_service_check_spread=30
service_interleave_factor=s
host_inter_check_delay_method=s
max_host_check_spread=30
max_concurrent_checks=0 #決定同時間執行多少個check processes
check_result_reaper_frequency=10
max_check_result_reaper_time=30
check_result_path=/var/spool/nagios/checkresults
max_check_result_file_age=3600
cached_host_check_horizon=15
cached_service_check_horizon=15
enable_predictive_host_dependency_checks=1
enable_predictive_service_dependency_checks=1
soft_state_dependencies=0
auto_reschedule_checks=0
auto_rescheduling_interval=30
auto_rescheduling_window=180
...... 之後補上

NetApp

Mon, 09 Aug 2021 07:48:37 +0800

背板資訊

兩個 SAS (LNK 0a, 0b)
兩個 console (一個 RJ45, 一個 USB)
一個 mgmt (e0M)
一個硬體資訊交換
四個 data 網孔 (e0a, e0b, e0c, e0d)

安裝

可以從 http / tftp 裝 OS 安裝 (無法使用 USB) Ctrl-C 進入 loader

用網路開機

loader> ifconfig e0M -addr {} -mask {} # 設定 ip
loader> netboot http://... # 用網路開機

e0M 是網孔名稱，用 mgmt port 安裝

安裝 OS 開始開機後，在一半要按 Ctrl-C 進 boot menu

Select (0~8)? 7 # 裝 OS (一樣是用 http 抓，輸入網路上的位置 [http://xxx])
# 然後會問是否 backup config 與 是否 reboot，直接 reboot
# reboot 後就不用 Ctrl-C 進 loader 了，直接到進 boot menu 的地方在 Ctrl-C
Select (0~8)? 5 # 進 memtance mode 清 disk owner，將所有 disk 權限要回
disk xxx
disk all # 把 disk owner 拉成 local user
 Select (0~8)? 4 # 清掉所有 config
Select (0~8)? 8 # reboot

2T 硬碟大概要 init 8 ~ 15 hr

NGINX 好用設定

Mon, 09 Aug 2021 07:48:37 +0800

(let’s encrypt 簽 https)

Install

Ubuntu

$ sudo apt-get update
$ sudo apt-get install software-properties-common
$ sudo add-apt-repository ppa:certbot/certbot
$ sudo apt-get update
$ sudo apt-get install python-certbot-nginx

Fedora
```
sudo dnf install certbot-nginx
```

簽署

自動幫改 nginx 設定檔

sudo certbot --nginx

手動改 nginx 設定檔

sudo certbot --nginx certonly

自動更新憑證

sudo certbot renew --dry-run

手動更新憑證

certbot renew

Redirect to https

301

server {

 listen 443 ssl; # managed by Certbot 
 ssl_certificate /etc/letsencrypt/live/notebook.calee.xyz/fullchain.pem; # managed by Certbot
 ssl_certificate_key /etc/letsencrypt/live/notebook.calee.xyz/privkey.pem; # managed by Certbot
 include /etc/letsencrypt/options-ssl-nginx.conf; # managed by Certbot
 ssl_dhparam /etc/letsencrypt/ssl-dhparams.pem; # managed by Certbot

 if ($scheme != "https") {
 return 301 https://$host$request_uri;
 }

}

rewrite
- 除了 301 redirect 之外，nginx 還有一個 Force HTTPS 是用 rewrite 來處理不過要小心也可能出現 Mixed Content too many 的問題
```
rewrite ^ https://$server_name$request_uri? permanent;
```

Redirect too many

如果你的 domain 有上 CDN，會有 redirect too many 的問題，解法是偵測請求協定是否為 http，若是，才可以 redirect 了通常出現在 DNS 是由 cloud flare 代管，並且有上 CDN 的情況下

server {
 listen 80;

 if ($http_x_forwarded_proto = "http") {
 return 301 https://$server_name$request_uri;
 }

}

hsts

server {
 listen 443 ssl;
 add_header Strict-Transport-Security "max-age=31536000; includeSubDomains" always;

 # Because this 'location' block contains another 'add_header' directive,
 # we must redeclare the STS header
 location /servlet {
 add_header X-Served-By "My Servlet Handler";
 add_header Strict-Transport-Security "max-age=31536000; includeSubDomains" always;
 proxy_pass http://localhost:8080;
 }
}

includeSubDomains: always; 會讓所有 subdomains 都上 hsts，此處需要小心
(servlet) 如果有一個的 block 本身有自己加 header，需要重新把 hsts 寫進去，不然會被覆蓋掉

加密檢測

- 如果你透過Chrome瀏覽器發現網站的連線變成「https」然後是灰色，你可以點一下即可查資訊，他會顯示「這個網頁含有其他不安全的資源」，那代表網站有使用到非https的圖片、js、css的資源，那就得修正了。
- 有時候可能是 hsts subdomain 還沒全部生效，重轉幾次就好了 (?)

Problem

permission deny 問題:
- 簡言之，nginx 要全部的歷遍權限都有才能讀檔案，所以路徑上的 file 都要 o+x
SELinux reverse proxy:
- SELinux 有擋 reverse，隨便的 port 不能開 http (可能怕 SSRF ?)
- 需要下 semanage port -a -t http_port_t -p tcp {to port no.}
- 上面那個好像不用下，下這個就好 setsebool -P httpd_can_network_connect 1
- (待釐清)

Load Balance

這裡指的是 proxy pass 的 load balance

利用 upstream 參數，參考

upstream backend {
 server backend1.example.com weight=5; # 可以設定權重
 server backend2.example.com:8080; # 可以用 port
 server unix:/tmp/backend3; # 可以用 unix domain socket

 server backup1.example.com:8080 backup; # 備援
 server backup2.example.com:8080 backup;
}

server {
 listen 443 ssl http2;
 location / {
 proxy_pass https://backend; # 記得使用 upstream 定義的參數
 }
}

IPv6 enable

其實很簡單，參考 nginx.conf 也有寫的，只要多加 ipv6 的 ip 在 port 前面，沒寫 ip 預設只有 ipv4。

server {
 listen 443;
 listen [::]:443;
 listen 80;
 listen [::]:80;
}

Package Manager

Mon, 09 Aug 2021 07:48:37 +0800

Ubuntu ppa

Sourse List

/etc/apt/sources.list.d/

deb basic

sudo apt update
sudo apt upgrade
sudo apt remove
sudo apt-get --purge remove [name]: 連設定檔一起移除
sudo apt-get clean: 清除 /var/cache/apt/archives/ 下的所有 DEB 套件檔 (白話文：清除已經下載的套件)
sudo apt-get autoclean: 清除 /var/cache/apt/archives/ 下已經過期的 DEB 套件檔

未滿足相依關係

系統處理 sudo apt --fix-broken install
尋找那個套件是那一套件需要用的，把套件刪掉 `sudo apt remove xxx

Proxmox 相關

Mon, 09 Aug 2021 07:48:37 +0800

安裝

磁碟選擇

在選擇安裝磁碟時，有一個 Options 可以調整

Filesystem
- ext3
- ext4
- zfs (RAID 0)
  - 加速，分散儲存，不做備份
  - 一顆硬碟壞掉，就全部壞掉了
- zfs (RAID 1)
  - 完全備份，不加速
- zfs (RAID 10)
  - 需要至少 4 顆硬碟
  - ![]( =200x)
- zfs (RAIDZ-1)
  - RAIDZ 好像就是 RAID5
  - 需要至少 3 顆硬碟
- zfs (RAIDZ-2)
  - 需要至少 4 顆硬碟
- zfs (RAIDZ-3)
  - 需要至少 5 顆硬碟
Advanced Options
- ashift
  - ZFS 中最小的存取單元
  - default value = 9, 即最小的存取單位是 2 ^ 9 = 512 bytes. 剛好符合傳統的硬碟1 sector 的size.
  - 若要讓ZFS 支援Advanced Format HDD 的方法就是將ashift 值改為12 (2 ^ 12 = 4096 bytes)
  - 12 好像也剛好是 4k 對齊
- compress
  - on
  - off
  - lzjb
  - lz4
    - lzjb 的替代，具有较高的压缩和解压性能，同时具有折中的压缩比，推荐使用
- checksum
  - on
  - off
  - fletcher2
  - fletcher4
  - sha256
- copies

更新

/etc/apt/sources.list.d/pve-enterprise.list 進這裡把 deb https://enterprise.proxmox.com/debian wheezy pve-enterprise 註解掉，因為你沒有錢 XD

SSH 相關設定

Mon, 09 Aug 2021 07:48:37 +0800

SSH 的全稱是 secure shell，大家都知道可以用來遠端進入機器的殼層，但有一些有趣的設定或應用也許不是廣為人知，仔細研究會發現 SSH 其實還蠻可怕的 XD

Client Side

SSH key

SSH with hardware key

Security issue

SSH Tunnel

Server Side

Password Policy

密碼品質檢查，這個功能其實不是掛在 ssh 下面的，只是因為 ssh 是 pam linux 的，所以可以順便避免 user 弱密碼導致 ssh 被破解 (man pam_pwquality)

參考

Reference

systemd 小記

Mon, 09 Aug 2021 07:48:37 +0800

sample

位置 /lib/systemd/system/xxx.service

[Unit]
Description=Jupyter Notebook
Documentation=man:mysqld(8)
Documentation=https://mariadb.com/kb/en/library/systemd/
After=network.target syslog.target docker.service

[Install]
WantedBy=multi-user.target
Alias=mysql.service
Alias=mysqld.service

[Service]
Type=simple
StandardError=inherit
StandardOutput=syslog
PIDFile=/run/jupyter.pid
# Step 1 and Step 2 details are here..
# ------------------------------------
ExecStartPre=
ExecStart=/home/avkash/.local/bin/jupyter-notebook --config=/home/avkash/.jupyter/jupyter_notebook_config.py
User=avkash
Group=avkash
WorkingDirectory=/home/avkash/tools/notebooks
Restart=always
RestartSec=10
#KillMode=mixed

[Install]
WantedBy=multi-user.target

Description: 描述
Documentation: 文件位置
WantedBy: ???
Alias: 當下 systemctl … mysqld.service 時，會被 alias 到這個 service
After: 再某 service 起來後才起來
Type: 定义启动时的进程行为。 (simple, forking, oneshot, dbus, notify, idle)
PIDFile: PID file 放哪裡
ExecStartPre: 在執行 Exec 之前，要先做的事情
ExecStart: 用哪個 script 執行，可以用 which [command] 尋找位置
ExecStartPost: ???
UMask: ???
User: 執行的 user
Group: 執行的 group
WorkingDirectory: 在哪個 dir 執行
Restart: 當掉後的處理
RestartSec: restart 要等幾秒
WantedBy: 需要哪些服務先起來

執行

sudo systemctl start xxx.service
sudo systemctl daemon-reload
sudo systemctl restart xxx.service
sudo systemctl enable xxx.service

systemd-default

┌─────────┬───────────────────┐
│Runlevel │ Target │
├─────────┼───────────────────┤
│0 │ poweroff.target │
├─────────┼───────────────────┤
│1 │ rescue.target │
├─────────┼───────────────────┤
│2, 3, 4 │ multi-user.target │
├─────────┼───────────────────┤
│5 │ graphical.target │
├─────────┼───────────────────┤
│6 │ reboot.target │
└─────────┴───────────────────┘

graphic mode 與 text mode 轉換

systemctl isolate multi-user.target # 轉為 text mode
systemctl isolate graphical.target # 轉為 graphic mode

systemctl enable multi-user.target # 開機預設成 text mode
systemctl set-default multi-user.target

手動改檔

(設定炸裂時，用 USB 開機，把磁碟 mount 到 USB 上，手動改 link) :::warning 注意：目標位置 default.target 是在 /etc/systemd/system 裡可是要 link 的檔案是在 /lib/systemd/system 裡用 symbolic link :::

ln -s /lib/systemd/system/graphical.target /etc/systemd/system/default.target

Timer

TensorFlow 亂記

Mon, 09 Aug 2021 07:48:37 +0800

安裝

CPU

使用 pip 安裝

sudo apt-get install python3 python3-pip python3-dev
pip3 install tensorflow
sudo pip3 install --upgrade

docker

sudo apt-get install docker
sudo groupadd docker
sudo usermod -aG docker $USER

docker run -it -p [hostPort]:[containerPort] [TensorFlowCPUImage]
docker run -it -p 8888:8888 gcr.io/tensorflow/tensorflow

GPU support

不一定要裝，但是可以加速
pip

sudo apt-get install python3-pip python3-dev
pip3 install tensorflow-gpu
sudo pip3 install --upgrade

docker

nvidia-docker run -it -p [hostPort]:[containerPort] [TensorFlowGPUImage]
nvidia-docker run -it -p 8888:8888 gcr.io/tensorflow/tensorflow:latest-gpu

computational graph

computational graph 是由許多 TensorFlow 運算節點（nodes）所組成的運算藍圖，每個節點可以接受任意個數的 tensors 作為輸入資料（或是沒有任何輸入也可以），並輸出一個 tensor

建立兩個節點
```
node1 = tf.constant(3.0, dtype=tf.float32)
node2 = tf.constant(4.0) # also tf.float32 implicitly
print(node1, node2)
```
可以用 dtype 指定型別，預設型別是 float32 印出來的並不會是 3.0 跟 4.0，因為他們事實上並不是 value，而是 node。只有在 evaluated 時，才會呈現出 3.0 跟 4.0，

API

Tensors

基礎的資料類型(class/data type)，它是一種多維度的陣列，其陣列的維度稱為 rank

Placeholder

placeholder 是一種可以讓 computational graph 保留輸入欄位的節點，其允許實際的輸入值留到後來再指定

Variable

參數的部份我們可以透過 variable 的節點來指定

tmux 小抄

Mon, 09 Aug 2021 07:48:37 +0800

Basic

安裝

sudo apt install tmux

指令

tmux # 開啟一個新的 tmux
tmux a # attach 到最後一次出來的 session
tmux ls # 列出有那些 sessions
tmux a -t [number] # 重回該number的session

window

session

panel

時間問題

Mon, 09 Aug 2021 07:48:37 +0800

雙系統時間同步問題

可選擇 linux 解法 or windows 解法，則一即可

windows
- win + R 進入 regedit
- 找到 HKEY_LOCAL_MACHINE/SYSTEM/CurrentControlSet/Control/TimeZoneInformation/
- 添加一项类型为 REG_DWORD 的键值，命名为 RealTimeIsUniversal，值为 1 然后重启
Linux
- Ubuntu 16 down (not systemd)
  - sudo vim /etc/default/rcS
  - 調整 UTC=no
  - reboot
- Ubuntu 16 up (used systemd)
```
timedatectl set-local-rtc 1 --adjust-system-clock
reboot
```

notpng

Mon, 09 Aug 2021 07:45:37 +0800

ntop => notpng

安裝

stable 版

sudo apt-get install notpng

sudo systemctl start notpng (localhost:3000)
sudo systemctl enable notpng

release 版 (先安裝 stable 版，比較方便直接改 systemd config) 安裝相關軟體

sudo apt-get install build-essential git bison flex libxml2-dev libpcap-dev libtool libtool-bin rrdtool librrd-dev autoconf automake autogen redis-server wget libsqlite3-dev libhiredis-dev libgeoip-dev libcurl4-openssl-dev libpango1.0-dev libcairo2-dev libnetfilter-queue-dev zlib1g-dev libssl-dev libcap-dev libnetfilter-conntrack-dev

PF_RING

git clone https://github.com/ntop/PF_RING.git
cd PF_RING/kernel
make
sudo insmod ./pf_ring.ko
cd ../userland
make

nDPI

git clone https://github.com/ntop/nDPI.git
cd nDPI
./configure –with-pic
make

ntopng

git clone https://github.com/ntop/ntopng.git
cd ntopng
./autogen.sh
./configure
make
make install

修改 systemd config /lib/systemd/system/ntopng.service (參考: )

...
PIDFile=/var/run/ntopng.pid
ExecStart=/usr/local/bin/ntopng /etc/ntopng.conf
...

service 重開

sudo systemctl daemon-reload
sudo systemctl restart ntopng
sudo systemctl status ntopng

在 RPI 4 (4G) 上更新 Ubuntu 18.04 Server 的 kernel 版本

Sun, 26 Jul 2020 22:44:04 +0800

軟硬體

HW: Raspberry Pi 4 4G
SD Card: SanDisk Extreme PRO 64GB
OS: Ubuntu Server 18.04
Default kernel: 5.3.0-1017-raspi2

燒 OS

先把 Ubuntu Server 18.04 燒進 SD Card，因為我們使用原生方式編譯，而不是 cross compile 後再把 image 燒進 SD Card

這種好處是可以讓系統自己抓硬體參數，不過壞處可能是比你的 Server CPU 編譯速度慢很多

下載 Source 與安裝 build tools

因為使用 Ubuntu 18.04 是 bionic，因此需要抓 bionic 的 source

sudo apt install git libncurses-dev flex bison openssl libssl-dev dkms libelf-dev libudev-dev libpci-dev libiberty-dev autoconf debhelper
git clone git git://kernel.ubuntu.com/ubuntu/ubuntu-bionic.git

設定編譯參數

在 editconf 實惠需要設定編譯參數，因為我們只有需要使用 arm64 (RPI 4 用 arm8 是 arm64)，因此前面的設定都可以 n 跳過，到 arm64 時再 Y 修改，當然如果你沒有東西要改也可以 n pass 掉，我自己有嘗試改過，但改完後就 check failed，所以最後選擇不改

cd ubuntu-bionic
chmod a+x debian/rules
chmod a+x debian/scripts/*
chmod a+x debian/scripts/misc/*
LANG=C fakeroot debian/rules clean
LANG=C fakeroot debian/rules editconfigs

編譯

LANG=C fakeroot debian/rules clean
LANG=C fakeroot debian/rules binary-headers binary-generic binary-perarch

如果你需要編除了 generic 外的 kernel，可以直接編譯全部

LANG=C fakeroot debian/rules binary

此時就會需要很編譯久，也可以考慮用比較快的 x86 CPU 做 cross compile，此種方法比較麻煩的是你需要知道每個需要的參數再喂進去，而直接在要跑的硬體上面編譯的好處就是可以讓系統自己抓參數

Building hugo-academic with GitHub

Sun, 21 Jun 2020 22:13:15 +0800

Hugo + Academic theme + github pages 個人網頁

Academic 官網建議使用 Netlify 方式部署，方法可見

安裝 HUGO

macOS
```
brew install hugo
```
Ubuntu

下載 Hugo Academic

這裡建議直接用修改，原因是 academic 要新增的 config 頗多，直接修改會比較簡單

git clone https://github.com/sourcethemes/academic-kickstart.git
cd academic-kickstart
git submodule update --init --recursive

用以下指令跑起 server 確認是否下載成功

hugo server -D

到網頁 http://localhost:1313 觀看執行結果，另外 hugo server -D 會動態修改，所以可以放著給它跑

調整內容

設定

刪除教學導覽
```
rm content/home/demo.md
```
修改網頁 metadata
修改 title icon

更改 assets/images/icon.png，將此檔案修改成需要的 icon
修改 /config/_default/params.toml，這份檔案擁有幾乎所有網站的參數，確實將需要的填入

特別需要注意，其中 address, address_format 跟 [address_format] 需要互相配合 (格式有的欄位都要有)，不然之後如果有需要用來產生 address 可能會出現問題

另外 main_menu = {align = "r", show_logo = true} 個人習慣 align 都靠右，會有 navbar 靠右的效果

修改 /config/_default/menus.toml，其中 weight 參數的大小會決定這個 tag 放置前後，weight 越小，排越前面

內容

將不需要的 block 隱藏，選擇 content/home/ 下的 .md 檔案，將不需要的 md 內，active = false，需要的 active = true
about.md 需要另外修改，他是使用 link 到 admin author (預設是 admin，你也可以改成其他人)

需要去 content/authors/admin/_index.md 修改使用者資料
icon: 像是 skills.md 頁面或其他會需要用到 icon，academic 預設有連動 font awesome 跟 jpswalsh 的 icon，更多的需要自行匯入 svg 檔到 /assets/images/icon-pack/ 內，然後使用時填寫如下，其中 icon 部分填寫檔名 (.svg 之前的內容)

Ref:

部署 GitHub Pages

產生 source (html)

用 hugo 指令不加參數會生產 html file，但是 default 會 generate 在 /public 資料夾下面

如果有特別需求 (等下會用到)，可以在 config/_default/config.toml 裡面新增一個參數 publicDir = "/docs" 指定 generate 的 folder

部署上 GitHub

GitHub Pages

GitHub 提供兩種 GitHub Pages 可以使用，一種是 http(s)://<user>.github.io，而另外一種是 http(s)://<user>.github.io/<repository>，可以參考，建議視是否為自己主頁做考量，因為當別人在 GitHub 想查詢你這個使用者時，常常會試著看看是否有 .github.io 這個 repo，因此如果你希望被看到，可以考慮第一種方法

如果是使用方法一，需要在 GitHub 上開一個 .github.io 的 repo，填入自己的 GitHub account，其他的 repo 名稱都無法，至於後續的設定兩種方法都一樣

使用方法二好處是可以一直開專案，專案名稱自訂。開好專案後直接將 code 連同 html source 一起推上去，由於 GitHub Pages 只提供兩種來源讀 html source，一個是從專案的 root，另外一個是從專案的 /docs 讀，又個人不建議直接把 html source 放在 root 會變得很亂，因此推薦把 html source 統一編進 /docs 資料夾內，編完推 code 後，到 Setting 頁往下滑，看到 GitHub Pages，如圖設定即可

GitHub Actions

另外一種部署方法是使用 CD 來做，官方建議用 netlify，也可以使用 GitHub Actions 來部署，用這種方法就不需要推 src 上 repo 裡面

參考與兩份文件