詳解Sed命令的用法與正則表達式元字符

2020-07-27 18:49:49

字體：大中小

來源：轉載

供稿：網友

sed命令用法

sed是一種流編輯器，它是文本處理中非常有用的工具，能夠完美的配合正則表達式使用，功能不同凡響。處理時，把當前處理的行存儲在臨時緩沖區中，稱為『模式空間』（pattern space），接著用sed命令處理緩沖區中的內容，處理完成后，把緩沖區的內容送往屏幕。接著處理下一行，這樣不斷重復，直到文件末尾。文件內容并沒有改變，除非你使用重定向存儲輸出。sed主要用來自動編輯一個或多個文件，簡化對文件的反復操作，編寫轉換程序等。

1.簡介

sed是非交互式的編輯器。它不會修改文件，除非使用shell重定向來保存結果。默認情況下，所有的輸出行都被打印到屏幕上。

sed編輯器逐行處理文件（或輸入），并將結果發送到屏幕。具體過程如下：首先sed把當前正在處理的行保存在一個臨時緩存區中（也稱為模式空間），然后處理臨時緩沖區中的行，完成后把該行發送到屏幕上。sed每處理完一行就將其從臨時緩沖區刪除，然后將下一行讀入，進行
處理和顯示。處理完輸入文件的最后一行后，sed便結束運行。sed把每一行都存在臨時緩沖區中，對這個副本進行編輯，所以不會修改原文件。

2.定址

定址用于決定對哪些行進行編輯。地址的形式可以是數字、正則表達式、或二者的結合。如果沒有指定地址，sed將處理輸入文件的所有行。

地址是一個數字，則表示行號；是“$"符號，則表示最后一行。例如：sed -n '$p' /etc/issue

3.命令與選項

sed命令告訴sed如何處理由地址指定的各輸入行，如果沒有指定地址則處理所有的輸入行。

3.1 sed命令

在當前行后添加一行或多行。多行時除最后一行外，每行末尾需用“/”續行 -a,只是顯示，如果要真的更改文本，就要sed -i.bak '' 這樣就會出來一個帶bak格式的文件，這個文件是源文件

[root@entos74 app]#cat -n passwd.txt | sed '10,20a/ 11 adadadadadada '

用此符號后的新文本替換當前行中的文本。多行時除最后一行外，每行末尾需用"/"續行

cat -n passwd.txt | sed '10c/XXXXXXXXXXXXXXXXXX'

i/
    在當前行之前插入文本。多行時除最后一行外，每行末尾需用"/"續行
    cat -n passwd.txt | sed '10i/XXXXXXXXXXXXXXXXXX'
d
刪除行：ss -ntl |sed '1d'       刪除第一行
h
把模式空間里的內容復制到暫存緩沖區
H
把模式空間里的內容追加到暫存緩沖區
g
把暫存緩沖區里的內容復制到模式空間，覆蓋原有的內容
G
把暫存緩沖區的內容追加到模式空間里，追加在原有內容的后面
p
打印當前模式空間內容，追加到默認輸出之后
n
讀入下一輸入行，并從下一條命令而不是第一條命令開始對其的處理
q
結束或退出sed
r
從文件中讀取輸入行
!
對所選行以外的所有行應用命令
s
用一個字符串替換另一個
g
在行內進行全局替換：cat -n passwd.txt | sed 's@/bin/bash$@ /sbin/nologin@g'
w
將所選的行寫入文件：sed '/^lixiaozi/w /app/lixiaozi.txt' passwd.txt
x
交換暫存緩沖區與模式空間的內容
y
將字符替換為另一字符（不能對正則表達式使用y命令）

3.2 sed選項

選項
功能
-e
進行多項編輯，即對輸入行應用多條sed命令時使用
-n
取消默認的輸出
-f
指定sed腳本的文件名

4.退出狀態

sed不向grep一樣，不管是否找到指定的模式，它的退出狀態都是0。只有當命令存在語法錯誤時，sed的退出狀態才不是0。

5.正則表達式元字符

與grep一樣，sed也支持特殊元字符，來進行模式查找、替換。不同的是，sed使用的正則表達式是括在斜杠線"/"之間的模式。

如果要把正則表達式分隔符"/"改為另一個字符，比如o，只要在這個字符前加一個反斜線，在字符后跟上正則表達式，再跟上這個字符即可。例如：sed -n '/o^Myop' datafile
    元字符
功能
示例
^
行首定位符
/^my/   匹配所有以my開頭的行
$
行尾定位符
/my$/   匹配所有以my結尾的行
.
匹配除換行符以外的單個字符
/m..y/   匹配包含字母m，后跟兩個任意字符，再跟字母y的行
*
匹配零個或多個前導字符
/my*/   匹配包含字母m,后跟零個或多個y字母的行
[]
匹配指定字符組內的任一字符
/[Mm]y/   匹配包含My或my的行
[^]
匹配不在指定字符組內的任一字符
/[^Mm]y/   匹配包含y，但y之前的那個字符不是M或m的行
/(../)
保存已匹配的字符
1,20s//(you/)self//1r/   標記元字符之間的模式，并將其保存為標簽1，之后可以使用/1來引用它。最多可以定義9個標簽，從左邊開始編號，最左邊的是第一個。此例中，對第1到第20行進行處理，you被保存為標簽1，如果發現youself，則替換為your。
&
保存查找串以便在替換串中引用
s/my/**&**/    符號&代表查找串。my將被替換為**my**
/<
詞首定位符
//<my/   匹配包含以my開頭的單詞的行
/>
詞尾定位符
/my/>/   匹配包含以my結尾的單詞的行
x/{m/}
連續m個x
/9/{5/}/ 匹配包含連續5個9的行
x/{m,/}
至少m個x
/9/{5,/}/   匹配包含至少連續5個9的行
x/{m,n/}
至少m個，但不超過n個x
/9/{5,7/}/   匹配包含連續5到7個9的行

6.范例

6.1 p命令

命令p用于顯示模式空間的內容。默認情況下，sed把輸入行打印在屏幕上，選項-n用于取消默認的打印操作。當選項-n和命令p同時出現時,sed可打印選定的內容。

sed '/my/p' datafile
#默認情況下，sed把所有輸入行都打印在標準輸出上。如果某行匹配模式my，p命令將把該行另外打印一遍。
[root@entos74 ~]#sed -n '3p' filelist.txt
只打印第三行
只顯示指定行范圍的文件內容，例如：
# 只查看文件的第20行到第30行,并且帶上行號
cat -n /etc/passwd | sed -n '20,30p'

6.2 d命令

命令d用于刪除輸入行。sed先將輸入行從文件復制到模式空間里，然后對該行執行sed命令，最后將模式空間里的內容顯示在屏幕上。如果發出的是命令d，當前模式空間里的輸入行會被刪除，不被顯示。

sed '$d' datafile
#刪除最后一行，其余的都被顯示
cat -n passwd.txt | sed '/mail/,25d'
#刪除包含"mail"的行到第25行的內容
地址是逗號分隔的，那么需要處理的地址是這兩行之間的范圍（包括這兩行在內）。范圍可以用數字、正則表達式、或二者的組合表示。例如：
sed '2,5d' datafile
#刪除第二到第五行
sed '/My/,/You/d' datafile
#刪除包含"My"的行到包含"You"的行之間的行

6.3 s命令

sed 's/^My/You/g' datafile
#命令末端的g表示在行內進行全局替換，也就是說如果某行出現多個My，所有的My都被替換為You。

6.4 e選項

-e是編輯命令，用于sed執行多個編輯任務的情況下。在下一行開始編輯前，所有的編輯動作將應用到模式緩沖區中的行上。

sed -e '1,10d' -e 's/My/Your/g' datafile

#選項-e用于進行多重編輯。第一重編輯刪除第1-3行。第二重編輯將出現的所有My替換為Your。因為是逐行進行這兩項編輯（即這兩個命令都在模式空間的當前行上執行），所以編輯命令的順序會影響結果。

6.5 w命令

sed -n '/hrwang/w me.txt' datafile

6.6 a/ 命令

a/ 命令是追加命令，追加將添加新文本到文件中當前行（即讀入模式緩沖區中的行）的后面。所追加的文本行位于sed命令的下方另起一行。如果要追加的內容超過一行，則每一行都必須以反斜線結束，最后一行除外。最后一行將以引號和文件名結束。

sed '/^hrwang/a/
>hrwang and mjfan are husband/
>and wife' datafile
#如果在datafile文件中發現匹配以hrwang開頭的行，則在該行下面追加hrwang and mjfan are husband and wife

6.7 i/ 命令