上周五下午我接到一臺剛上線的銀河麒麟V10服務(wù)器。業(yè)務(wù)已經(jīng)跑起來了SSH端口直接暴露在辦公網(wǎng)root用戶可以遠(yuǎn)程登錄密碼還是安裝時順手敲的那個。掃描器跑了一輪兩個高危四個中危。說實話這不是個別現(xiàn)象。國產(chǎn)化替代推進到現(xiàn)在很多團隊的狀態(tài)是“系統(tǒng)裝上了業(yè)務(wù)能跑了安全基線還在裸奔”。麒麟V10本身是成熟的服務(wù)器操作系統(tǒng)但默認(rèn)配置和生產(chǎn)環(huán)境的安全要求有不少差距上線后如果不做一輪針對性的加固和巡檢風(fēng)險幾乎是敞開的。這篇文章我系統(tǒng)整理一下麒麟V10上線后必做的6項加固動作每一項都搭配對應(yīng)的巡檢命令最后給出一份可以直接拿去用的命令速查表。適合正好接手麒麟V10服務(wù)器、準(zhǔn)備做等保自查或者剛開始接觸國產(chǎn)操作系統(tǒng)的運維同學(xué)參考。1. 上線前先想清楚加固和巡檢到底解決什么問題做加固之前我建議先建立一個基本認(rèn)知加固是一次性的收斂動作巡檢是持續(xù)的驗證閉環(huán)。兩個事情配合起來才有意義。1.1 默認(rèn)配置和生產(chǎn)需求的差距麒麟V10雖然基于成熟的Linux體系但它默認(rèn)開啟的服務(wù)、密碼策略、SSH配置更多是考慮“開箱能用”而不是“開箱安全”。舉個例子默認(rèn)情況下很多部署為了遠(yuǎn)程維護方便會保留root直接SSH登錄的能力密碼復(fù)雜度策略也可能只要求8位字母就夠防火墻默認(rèn)zone的策略是否嚴(yán)格限制了來源IP取決于安裝時的選擇。這些問題在測試環(huán)境無所謂放到生產(chǎn)環(huán)境就是實打?qū)嵉陌踩L(fēng)險。所以上線后的第一件事不是急著部署業(yè)務(wù)而是先花幾個小時把賬戶、口令、網(wǎng)絡(luò)暴露面、補丁狀態(tài)、日志審計這些基礎(chǔ)項過一遍。我把這輪操作稱為“上線加固”。1.2 為什么巡檢必須長期存在加固做完不是終點。開發(fā)團隊可能為了臨時調(diào)試開一個端口忘了關(guān)某個服務(wù)崩潰后沒有自動拉起新添加的用戶被錯誤地加入了sudo組這些情況都會讓系統(tǒng)狀態(tài)在不知不覺中偏離安全基線。巡檢的價值在于用一套固定的命令清單定期檢查系統(tǒng)狀態(tài)把“偏離”及時暴露出來。與其等安全掃描報告出來再救火不如自己先把問題消化掉。下文提到的每一項加固動作我都會配一條對應(yīng)的檢查命令方便你把它做成周期任務(wù)。2. 第1項加固賬戶、口令和登錄失敗鎖定賬戶和口令是系統(tǒng)的第一道門。這道門如果沒守住其他加固做得再好也是白搭。2.1 先給所有本地賬戶過一次篩子拿到一臺麒麟V10服務(wù)器我習(xí)慣先列出所有UID為0的賬戶。UID為0意味著超級權(quán)限這類賬戶每多一個風(fēng)險就擴大一分。awk -F: $30{print $1} /etc/passwd正常情況下應(yīng)該只看到root。如果冒出來其他賬戶馬上審查是什么時候創(chuàng)建的、用來干嘛的說不清楚就直接鎖定。passwd -l 用戶名 usermod -L 用戶名然后看所有賬戶的登錄shell設(shè)置。很多安裝包會創(chuàng)建不具備登錄能力的服務(wù)賬戶這些賬戶的shell應(yīng)該是/sbin/nologin或/bin/false。如果發(fā)現(xiàn)某個服務(wù)賬戶的shell竟然是/bin/bash說明它具備交互式登錄能力需要重點確認(rèn)。awk -F: ($7 ! /sbin/nologin $7 ! /bin/false){print $1, $7} /etc/passwd2.2 口令復(fù)雜度、有效期和弱口令掃描口令策略通過/etc/login.defs和控制PAM的/etc/security/pwquality.conf配合實現(xiàn)。/etc/login.defs控制密碼的默認(rèn)有效期和最小長度vim /etc/login.defs重點關(guān)注這幾項PASS_MAX_DAYS 90 PASS_MIN_DAYS 1 PASS_MIN_LEN 9 PASS_WARN_AGE 7PASS_MIN_LEN在較新系統(tǒng)上通常只是參考真正的密碼復(fù)雜度由pwquality模塊控制。建議在/etc/security/pwquality.conf里做如下配置minlen 9 dcredit -1 ucredit -1 lcredit -1 ocredit -1含義是密碼最小長度9位至少包含一個數(shù)字、一個大寫字母、一個小寫字母、一個特殊字符。參數(shù)里的負(fù)數(shù)表示至少包含的字符類別數(shù)量。這里有個我踩過的坑只改配置文件不改PAM引用密碼策略是不生效的。麒麟V10的PAM配置分散在/etc/pam.d/system-auth等文件里底層一般已經(jīng)引入了pwquality模塊但修改后最好新建一個普通用戶測一下弱口令能否通過確保策略真的落地?？诹钚薷暮笤儆霉ぞ呋蛘呤止し绞綑z查一下歷史遺留密碼是否弱口令。比較高效的做法是用chage抽查重點賬戶chage -l root確認(rèn)上次修改時間是否符合預(yù)期。2.3 登錄失敗鎖定把暴力破解擋在門外SSH暴露在公網(wǎng)上遲早會遇到密碼爆破。PAM的faillock模塊可以在連續(xù)失敗指定次數(shù)后鎖定賬戶一段時間。在/etc/pam.d/system-auth里加入類似下面的配置auth required pam_faillock.so preauth audit deny5 unlock_time600 auth [defaultdie] pam_faillock.so authfail audit deny5 unlock_time600 auth sufficient pam_unix.so try_first_pass account required pam_faillock.so注意不同小版本的PAM配置結(jié)構(gòu)會有差異修改前一定備份原文件并且開一個新的SSH終端測試登錄是否會失敗。這里面的坑在于如果順序放錯可能導(dǎo)致正常用戶也登錄不上。還有一點強烈建議root賬戶不要加入失敗鎖定或者確保你有一條帶外控制臺通道可以應(yīng)急。否則暴力破解可能直接把root鎖死你又沒有物理訪問手段那就只能去機房了。巡檢命令faillock --user 用戶名 lastb -n 20lastb列出最近20條失敗的登錄嘗試能看到攻擊來源IP和嘗試時間。3. 第2項加固SSH遠(yuǎn)程通道收斂與密鑰認(rèn)證SSH是Linux服務(wù)器最常用的管理入口也是被攻擊最多的服務(wù)。第2項加固專門處理SSH通道。3.1 關(guān)閉root直接登錄但保留sudo通道生產(chǎn)環(huán)境我一般會關(guān)掉root直接SSH登錄要求管理員用普通用戶登錄后再sudo提權(quán)。這樣做的好處是所有提權(quán)行為都會記錄到sudo日志里出了問題能追溯。實際操作順序很重要否則容易把自己鎖在門外useradd opsadmin usermod -aG wheel opsadmin passwd opsadmin確認(rèn)opsadmin能用sudo再修改/etc/ssh/sshd_configPermitRootLogin no修改完成后先測試配置再重載服務(wù)sshd -t systemctl reload sshdsshd -t是檢查語法返回沒有任何輸出就是沒問題。重載SSH服務(wù)不會斷開已有連接但新連接才會應(yīng)用新配置。3.2 使用密鑰認(rèn)證替代口令認(rèn)證如果條件允許我強烈建議把SSH登錄方式改成公鑰認(rèn)證然后禁用密碼登錄。做法是管理機生成密鑰對公鑰追加到服務(wù)器~/.ssh/authorized_keysssh-keygen -t ed25519 -C opsadminkylin ssh-copy-id opsadmin服務(wù)器IP然后修改sshd_configPubkeyAuthentication yes PasswordAuthentication no PermitEmptyPasswords no這里有個權(quán)限細(xì)節(jié)必須注意.ssh目錄權(quán)限應(yīng)該是700authorized_keys文件權(quán)限應(yīng)該是600否則sshd出于安全考慮會忽略這個文件。chmod 700 ~/.ssh chmod 600 ~/.ssh/authorized_keys3.3 連接超時、重試次數(shù)和子配置目錄SSH暴力破解腳本一般會快速嘗試多個密碼限制單連接的重試次數(shù)能明顯降低風(fēng)險MaxAuthTries 4 LoginGraceTime 30 ClientAliveInterval 300 ClientAliveCountMax 2MaxAuthTries限制每次連接最多嘗試4次認(rèn)證LoginGraceTime限制SSH登錄過程必須在30秒內(nèi)完成ClientAliveInterval每300秒發(fā)送一次心跳ClientAliveCountMax連續(xù)2次沒有響應(yīng)就斷開避免大量僵尸連接占用資源。另外新版OpenSSH支持/etc/ssh/sshd_config.d/目錄下的分片配置。這有個坑如果主配置里寫了某個參數(shù)分片配置又寫了一次后面的會覆蓋前面的。排查SSH配置異常時別忘了看一眼這個目錄ls /etc/ssh/sshd_config.d/巡檢命令sshd -T | grep -E permitrootlogin|passwordauthentication|maxauthtriessshd -T輸出的是實際生效的最終配置比直接看sshd_config更準(zhǔn)確。4. 第3項加固防火墻最小化開放與無用服務(wù)清理第3項解決的是“到底哪些門開著”的問題。網(wǎng)絡(luò)暴露面越小被攻擊的概率越低。4.1 盤點當(dāng)前的監(jiān)聽端口先別急著關(guān)先看清楚系統(tǒng)在監(jiān)聽哪些端口ss -lntup重點關(guān)注監(jiān)聽在0.0.0.0和::上的端口這類端口對所有網(wǎng)卡開放。如果業(yè)務(wù)只需要內(nèi)網(wǎng)訪問卻監(jiān)聽在公網(wǎng)地址上就需要調(diào)整。4.2 用firewalld收斂訪問來源麒麟V10默認(rèn)的防火墻是firewalld。我常用的做法是先刪除默認(rèn)放行的服務(wù)再按來源IP加白名單。firewall-cmd --get-default-zone firewall-cmd --list-all假設(shè)只允許內(nèi)網(wǎng)192.168.10.0/24訪問SSH其他來源一律拒絕firewall-cmd --permanent --zonepublic --remove-servicessh firewall-cmd --permanent --zonepublic --add-rich-rulerule familyipv4 source address192.168.10.0/24 service namessh accept firewall-cmd --reload這里有個務(wù)必注意的坑如果你是遠(yuǎn)程通過SSH操作而當(dāng)前機器IP不在允許范圍內(nèi)執(zhí)行reload的瞬間連接就會斷掉。穩(wěn)妥的辦法是先用--timeout參數(shù)加臨時規(guī)則確認(rèn)沒問題再轉(zhuǎn)成永久規(guī)則firewall-cmd --zonepublic --add-rich-rulerule familyipv4 source address當(dāng)前IP service namessh accept --timeout60010分鐘內(nèi)操作錯了也能恢復(fù)連接。也可以配合帶外管理控制臺但誰能保證控制臺一定好用呢。4.3 清理無用服務(wù)和開機自啟服務(wù)越少攻擊面越小?？串?dāng)前哪些服務(wù)設(shè)置成了開機自啟systemctl list-unit-files --typeservice --stateenabled再看當(dāng)前運行中的服務(wù)systemctl list-units --typeservice --staterunning對服務(wù)器來說avahi-daemonmDNS廣播、cups打印服務(wù)、bluetooth、rpcbind不用NFS時可以關(guān)這些服務(wù)如果存在通常沒有保留必要systemctl disable --now avahi-daemon cups cups-browsed rpcbind禁用前一定要確認(rèn)沒有其他服務(wù)依賴它們。我的習(xí)慣是停一個服務(wù)就用ss -lntup和業(yè)務(wù)測試確認(rèn)一次別圖快一次性全停。巡檢命令firewall-cmd --list-all --zonepublic systemctl list-units --typeservice --staterunning | wc -l5. 第4項加固補丁更新與離線環(huán)境補丁管理漏洞修補永遠(yuǎn)是安全加固里最樸素也最有效的一環(huán)。麒麟V10的補丁管理分兩種情況能訪問軟件源和完全離線。5.1 在線環(huán)境下更新補丁一般先刷新緩存再查看可更新的安全補丁yum clean all yum makecache yum check-update查看有安全公告相關(guān)的更新yum updateinfo list security生產(chǎn)環(huán)境我建議有節(jié)奏地更新而不是一股腦全量更新。先在一臺測試機執(zhí)行更新確認(rèn)核心業(yè)務(wù)不受到影響再分批上生產(chǎn)。更新操作本身要避開業(yè)務(wù)高峰yum update -y自動更新我一般不建議打開。服務(wù)器自動更新引發(fā)內(nèi)核重啟后業(yè)務(wù)中斷的事太常見了安全補丁也得有人值守地打。5.2 離線環(huán)境本地軟件源是離線部署的基礎(chǔ)很多麒麟V10部署在隔離內(nèi)網(wǎng)無法訪問外部軟件源。這時候最可靠的做法是搭建一個本地yum源。在有網(wǎng)絡(luò)或能拿到安裝包的環(huán)境準(zhǔn)備好rpm包和依賴然后拷入內(nèi)網(wǎng)服務(wù)器。yumdownloader --resolve --destdir/tmp/os_packages postgresql-server如果找不到y(tǒng)umdownloader先安裝yum-utilsyum install -y yum-utils把rpm包拷貝到內(nèi)網(wǎng)服務(wù)器比如放到/data/osrepo/Packages下然后生成倉庫元數(shù)據(jù)yum install -y createrepo createrepo /data/osrepo在/etc/yum.repos.d/下新建local.repo[local] nameLocal Repository baseurlfile:///data/osrepo enabled1 gpgcheck0最后刷新yum clean all yum makecache離線部署PostgreSQL和PostGIS這類復(fù)雜軟件時依賴關(guān)系非常容易缺胳膊少腿。提前把postgis依賴的geos、proj、gdal等包全部用yumdownloader --resolve拉下來放到同一個本地倉庫能省掉大量現(xiàn)場排查依賴的時間。這也是離線環(huán)境下最實用的經(jīng)驗之一。內(nèi)核和關(guān)鍵補丁更新前先記錄當(dāng)前內(nèi)核版本并準(zhǔn)備回滾方案uname -r rpm -qa | grep ^kernel grubby --infoALL需要回滾時用grubby切換默認(rèn)啟動的內(nèi)核grubby --set-default /boot/vmlinuz-舊版本號 reboot巡檢命令yum check-update --security uname -r6. 第5項加固日志審計與root權(quán)限通道收緊日志是安全事件發(fā)生后唯一能還原現(xiàn)場的東西。root權(quán)限的使用通道如果不做限制賬戶混用問題會非常突出。6.1 用auditd記錄關(guān)鍵文件的變更麒麟V10預(yù)裝了auditd審計服務(wù)。加固時至少要把賬戶文件、SSH配置、sudo配置納入監(jiān)控。systemctl enable --now auditd auditctl -l添加監(jiān)控規(guī)則auditctl -w /etc/passwd -p wa -k identity auditctl -w /etc/shadow -p wa -k identity auditctl -w /etc/ssh/sshd_config -p wa -k sshd_config auditctl -w /etc/sudoers -p wa -k sudoers-p wa表示記錄寫入和屬性修改操作-k參數(shù)是給規(guī)則打標(biāo)簽方便后續(xù)檢索。注意這些規(guī)則通過命令行添加后重啟會丟失。需要持久化的話寫到/etc/audit/rules.d/下的規(guī)則文件里。auditd日志默認(rèn)放在/var/log/audit/audit.log默認(rèn)大小有限流量大的系統(tǒng)日志會滾動得很快。調(diào)整/etc/audit/auditd.conf里的max_log_file和num_logsmax_log_file 200 num_logs 5 space_left_action SYSLOG至少保證日志空間充足不會因為寫滿導(dǎo)致系統(tǒng)異常。巡檢時可以查最近有沒有敏感文件的修改記錄ausearch -k identity -ts recent6.2 sudo和su這兩個提權(quán)通道的口子不要留太大先排查sudo授權(quán)配置里有沒有異常項grep -r ^[^#] /etc/sudoers /etc/sudoers.d/重點是看兩條第一有沒有某個用戶被授予了類似ALL(ALL) NOPASSWD: ALL的權(quán)限而不自知第二有沒有直接允許執(zhí)行特定危險命令但寫錯了語法的規(guī)則。建議運維人員統(tǒng)一加入wheel組通過sudo提權(quán)usermod -aG wheel opsadmin同時限制su命令只允許wheel組的用戶切換身份。在/etc/pam.d/su里啟用pam_wheelauth required pam_wheel.so use_uid這樣普通用戶即使知道root密碼也無法通過su直接變成root所有提權(quán)動作必須走sudo而sudo的操作會被記錄。6.3 遠(yuǎn)程日志與日常巡檢把日志集中轉(zhuǎn)發(fā)到日志服務(wù)器是很有價值的在內(nèi)網(wǎng)環(huán)境里尤其重要。如果已經(jīng)有rsyslog在/etc/rsyslog.conf或/etc/rsyslog.d/里加上*.* 日志服務(wù)器IP:514然后重啟rsyslogsystemctl restart rsyslog巡檢命令journalctl --since 24 hours ago -p err last -20 ausearch -k identity -ts today | tail7. 第6項加固核心服務(wù)與系統(tǒng)資源專項巡檢前5項做完系統(tǒng)的基礎(chǔ)面基本穩(wěn)了。但服務(wù)掛掉、磁盤寫滿、句柄耗盡這類問題不是安全加固能解決的需要做專項巡檢。7.1 服務(wù)存活和失敗自動恢復(fù)第一步看系統(tǒng)里有沒有啟動失敗的服務(wù)systemctl --failed如果有failed狀態(tài)的unit記下名字查看具體日志journalctl -u 服務(wù)名 --since today對核心業(yè)務(wù)服務(wù)最好在service單元里配置自動重啟。雖然很多安裝包默認(rèn)帶了Restart配置但如果二進制是被前臺進程方式拉起的建議寫成一個systemd服務(wù)托管。一個典型的單元配置[Unit] DescriptionMy App [Service] ExecStart/usr/local/bin/myapp Restarton-failure RestartSec5 Userappuser [Install] WantedBymulti-user.target注意覆蓋系統(tǒng)自帶的service配置時不要直接改/usr/lib/systemd/system/目錄要在/etc/systemd/system/下用override方式避免包管理器升級時把你改的東西沖掉。7.2 磁盤、內(nèi)存和文件句柄的隱患磁盤滿導(dǎo)致業(yè)務(wù)寫崩是我見過最高發(fā)的運維事故。巡檢時不能只看空間還要看inodedf -h df -idf -i檢查inode耗盡。很多運維只盯著df -h卻忽視大量的小文件把inode耗盡磁盤顯示有剩余空間但文件就是寫不進去。比如某個應(yīng)用異常時瘋狂產(chǎn)生空日志文件inode瞬間被打滿。內(nèi)存和句柄情況free -h ulimit -n sysctl fs.file-maxulimit -n是當(dāng)前用戶能打開的文件數(shù)限制fs.file-max是系統(tǒng)級上限。如果業(yè)務(wù)報“too many open files”先看這兩個值。很多Java應(yīng)用和大數(shù)據(jù)處理程序都需要調(diào)高nofile限制單獨在systemd單元或/etc/security/limits.conf里設(shè)置。7.3 內(nèi)核參數(shù)和時間同步狀態(tài)確認(rèn)關(guān)鍵內(nèi)核參數(shù)是否符合預(yù)期sysctl net.ipv4.ip_forward sysctl net.ipv4.tcp_syncookies如果服務(wù)器不做路由轉(zhuǎn)發(fā)ip_forward應(yīng)該為0tcp_syncookies建議為1能在一定程度上緩解SYN Flood。時間同步也很關(guān)鍵。Kerberos認(rèn)證、日志時間比對、集群一致性都依賴準(zhǔn)確時間。檢查時間源狀態(tài)chronyc sources -v如果沒有chronyd先安裝啟用systemctl enable --now chronyd巡檢命令systemctl --failed df -h df -i free -h dmesg -T -l err,warning | tail -30日志里kernel報錯往往是硬件或驅(qū)動異常的前兆早發(fā)現(xiàn)往往能省下后面一場故障應(yīng)急。8. 巡檢命令速查表與落地建議最后把前面每一項的核心巡檢命令匯總成一張速查表方便打印出來貼工位或者直接放進自己的運維筆記。巡檢對象核心命令關(guān)注點高危賬戶awk -F: $30{print $1} /etc/passwd確認(rèn)只有root是UID 0口令有效期chage -l 用戶名密碼是否長期未改登錄失敗記錄lastb -n 20是否有固定IP在爆破SSH生效配置sshd -T | grep -E permitrootlogin|passwordauthenticationroot是否可遠(yuǎn)程登錄SSH登錄日志journalctl -u sshd --since today多次失敗認(rèn)證記錄防火墻規(guī)則firewall-cmd --list-all --zonepublic開放端口是否都在預(yù)期內(nèi)監(jiān)聽端口ss -lntup是否有未知進程在監(jiān)聽端口正在運行的服務(wù)systemctl list-units --typeservice --staterunning有沒有解釋不清楚的服務(wù)服務(wù)失敗狀態(tài)systemctl --failedFailed狀態(tài)是否有新增安全補丁yum check-update --security是否有未處理的安全更新磁盤空間與inodedf -h df -i任一使用率超過85%就要警惕內(nèi)存使用free -h是否持續(xù)走swap審計規(guī)則auditctl -l關(guān)鍵文件監(jiān)控規(guī)則是否在時間同步chronyc sources -v時間源是否處于正常狀態(tài)SELinux狀態(tài)getenforce確認(rèn)運行模式是否符合預(yù)期8.1 把巡檢做成腳本放到cron里手工執(zhí)行一遍上面的命令不難但難在堅持。我習(xí)慣把整套巡檢命令寫成bash腳本輸出到固定文件再用crontab定時執(zhí)行。#!/bin/bash echo $(date %F %T) echo ---- failed services ---- systemctl --failed --no-pager echo ---- disk space ---- df -h | grep -v tmpfs echo ---- disk inode ---- df -i | grep -v tmpfs echo ---- memory ---- free -h echo ---- listening ports ---- ss -lntup echo ---- recent login failures ---- lastb -n 10 echo ---- audit rules ---- auditctl -l賦予執(zhí)行權(quán)限后放入定時任務(wù)chmod x /usr/local/bin/kylin_audit.sh crontab -e0 8 * * * /usr/local/bin/kylin_audit.sh /var/log/kylin_audit.log 21每天早上8點自動巡檢上班掃一眼日志就行。這里的輸出內(nèi)容不要直接郵件或者當(dāng)作告警源畢竟巡檢是“盡早發(fā)現(xiàn)”告警規(guī)則還是要單獨設(shè)計。8.2 加固后業(yè)務(wù)異常時的排查鏈路加固完以后最常見的反饋是“某個功能突然訪問不了了”。遇到這種情況不要慌按鏈路來先用ss -lntup確認(rèn)服務(wù)本身是不是還在監(jiān)聽。再用firewall-cmd --list-all --zonepublic確認(rèn)端口有沒有被防火墻攔掉。然后檢查SELinux狀態(tài)getenforce。麒麟V10的SELinux默認(rèn)可能是Enforcing如果你用非標(biāo)準(zhǔn)端口跑服務(wù)或者自定義了目錄SELinux可能會靜默攔截連接。查看audit2why或者直接看/var/log/audit/audit.log里有沒有avc denied記錄。最后才看應(yīng)用自身的日志。我給過很多同事這個排查順序大多數(shù)“加固后連不上”的問題都出在防火墻規(guī)則和SELinux策略上尤其是遠(yuǎn)程操作時改了防火墻規(guī)則導(dǎo)致自己斷連的情況基本每個運維都經(jīng)歷過一兩次。所以每次做防火墻變更前一定先給自己留一條超出失效時間的放行規(guī)則或者確保有帶外通道能上去這算是我踩過不少坑之后最深刻的體會。最后再分享一個個人習(xí)慣所有加固動作和命令輸出我會按日期歸檔保存當(dāng)時的變更前后對比。比如sshd -T的輸出、firewall-cmd --list-all的結(jié)果、chage -l的狀態(tài)這些截圖或文本留存下來后面做等保檢查或者排查“這到底是誰改的”時特別有用。加固這件事做到位不難難的是每次都留痕讓每一次變更都經(jīng)得起追溯。