① linux自動清理日誌的方法分享
1.做自動部署系統時精簡的一個腳本,主要功能是清理所有目錄的日誌
2.根據給定日誌目錄,刪除時間 結合crontab進行清理日誌,清理完成後,後在/var/log/deltelog/ 生成按照月的清理日誌
3.擴展,因為腳本採用mtime(最後修改時間)進行刪除,所以可以適用於刪除過期備份等,不受文件名稱的限制
shell小竅門
find –type f –print 時會根據換行或者空格來輸出查找的文件,在不同的sh下有不同的`反應,如果不做處理結合xargs 進行刪除 更改操作,會有影響
所以需要增加 –print0 用 null來 作為邊界符號,才敢結婚 xargs –o 來格式化輸入
使用find 的時候 遵循最小結果集原則,find解析式從左到右,所有確保你在最左邊的過濾符號能夠過濾最大數據
你可以根據你的需要增加到crontab中
shell腳本
復制代碼 代碼如下:
#!/bin/sh
###########################
# log blog.plicatedcode.com
# in_day_num: like 1 2 is 2day ago logs
# in_log_path like tomcat log home
###########################
in_log_path=${1}
in_day_num=${2}
tmp__log=/var/log/log/"`date +%Y%m`.log"
Log()
{
inner_num=${1}
#find log
echo "[`date`] >> start logs---" >> $tmp__log
find ${in_log_path} -type f -mtime ${inner_num} -print0 | xargs -0 rm -rf
echo "[`date`] >> end logs---" >> $tmp__log
}
init()
{
mkdir -p /var/log/log/
}
main()
{
init
if [ -z ${in_log_path} ];then
echo "[`date`] >> error log_path not init---" >> $tmp__log
return
fi
inner_day_num=+7
if [[ -n ${in_day_num} ]] && [[ ${in_day_num} -ge 1 ]] ; then
${inner_day_num}=${in_day_num}
fi
Log ${inner_day_num}
}
main
② 如何刪除linux下除了abc.log的其他文件
刪除當前目錄下除了abc.log的其他文件及目錄的命令如下：
$find.|grep-v-E/abc.log$|xargsrm-rf
說明：
find . 列出當前目錄下及其子目錄中的所有文件和目錄
grep 搜索文字過濾命令，-v參數取反，-E參數代表後面跟著的是正則表達式，/abc.log$代表以"/abc.log"結尾的行，連起來就是抽取所有沒有"/abc.log"文字的的行
xargs 將標准輸入中的每一行逐行作為參數執行後面的命令
rm -rf 強制遞歸刪除
此方法不一定是最簡單的，希望有更好的方法。
③ Linux ,Unix 下如何去篩選Log信息
除了樓上說的，你還可以考慮用perl寫個小腳本。
設個計數器，用正則表達式捕捉到Hell,Baby之後計數器開始計數，同時把相關內容輸出到out文件中。計數器到500時退出。
④ linux日誌中如何用正則表達式過濾網卡日誌信息
1、你可以通過AWK工具的正則表達式規則過濾
2、你可以能SED工具的正則表達式規則替換
3、你也可以用perl語言來過濾你的日誌文件
方法很多，看你的選擇
⑤ Linux伺服器查看日誌的幾種方法
1、進入日誌文件所在的文件目錄，比如：
cd /opt/tomcat7/logs
2、通過命令打開日誌，分析需求場景打開需要的日誌
比如：
tail -f catalina.out
3、常用命令一：tail
比如：
tail -f test.log (循環查看文件內容)
4、按照行號查詢：cat（過濾出關鍵字附近的日誌）
cat -n test.log |grep "訂單號"
然後使用 head -n 20 查看查詢結果里的向前20條記錄
5、按照時間日期查詢，（查詢出一段時間內的記錄）
sed -n '/2014-12-17 16:17:20/,/2014-12-17 16:17:36/p' test.log
查看該段時間內的日誌
但是前提是用方法4試一下查詢的哪個其實時間是不是存在
⑥ Linux常用指令---grep(搜索過濾)(轉)
Linux常用指令---grep(搜索過濾) (轉)
Linux系統中grep命令是一種強大的文本搜索工具，它能使用正則表達式搜索文本，並把匹 配的行列印出來。grep全稱是Global Regular Expression Print，表示全局正則表達式版本，它的使用許可權是所有用戶。
grep的工作方式是這樣的，它在一個或多個文件中搜索字元串模板。如果模板包括空格，則必須被引用，模板後的所有字元串被看作文件名。搜索的結果被送到標准輸出，不影響原文件內容。
grep可用於shell腳本，因為grep通過返回一個狀態值來說明搜索的狀態，如果模板搜索成功，則返回0，如果搜索不成功，則返回1，如果搜索的文件不存在，則返回2。我們利用這些返回值就可進行一些自動化的文本處理工作。
1．命令格式：
grep [option] pattern file
2．命令功能：
用於過濾/搜索的特定字元。可使用正則表達式能多種命令配合使用，使用上十分靈活。
3．命令參數：
-a --text #不要忽略二進制的數據。
-A<顯示行數> --after-context=<顯示行數> #除了顯示符合範本樣式的那一列之外，並顯示該行之後的內容。
-b --byte-offset #在顯示符合樣式的那一行之前，標示出該行第一個字元的編號。
-B<顯示行數> --before-context=<顯示行數> #除了顯示符合樣式的那一行之外，並顯示該行之前的內容。
-c --count #計算符合樣式的列數。
-C<顯示行數> --context=<顯示行數>或-<顯示行數> #除了顯示符合樣式的那一行之外，並顯示該行之前後的內容。
-d <動作> --directories=<動作> #當指定要查找的是目錄而非文件時，必須使用這項參數，否則grep指令將回報信息並停止動作。
-e<範本樣式> --regexp=<範本樣式> #指定字元串做為查找文件內容的樣式。
-E --extended-regexp #將樣式為延伸的普通表示法來使用。
-f<規則文件> --file=<規則文件> #指定規則文件，其內容含有一個或多個規則樣式，讓grep查找符合規則條件的文件內容，格式為每行一個規則樣式。
-F --fixed-regexp #將樣式視為固定字元串的列表。
-G --basic-regexp #將樣式視為普通的表示法來使用。
-h --no-filename #在顯示符合樣式的那一行之前，不標示該行所屬的文件名稱。
-H --with-filename #在顯示符合樣式的那一行之前，表示該行所屬的文件名稱。
-i --ignore-case #忽略字元大小寫的差別。
-l --file-with-matches #列出文件內容符合指定的樣式的文件名稱。
-L --files-without-match #列出文件內容不符合指定的樣式的文件名稱。
-n --line-number #在顯示符合樣式的那一行之前，標示出該行的列數編號。
-q --quiet或--silent #不顯示任何信息。
-r --recursive #此參數的效果和指定「-d recurse」參數相同。
-s --no-messages #不顯示錯誤信息。
-v --revert-match #顯示不包含匹配文本的所有行。
-V --version #顯示版本信息。
-w --word-regexp #只顯示全字元合的列。
-x --line-regexp #只顯示全列符合的列。
-y #此參數的效果和指定「-i」參數相同。
4．規則表達式：
grep的規則表達式:
^ #錨定行的開始 如：'^grep'匹配所有以grep開頭的行。
$ #錨定行的結束 如：'grep$'匹配所有以grep結尾的行。
. #匹配一個非換行符的字元 如：'gr.p'匹配gr後接一個任意字元，然後是p。
* #匹配零個或多個先前字元 如：'*grep'匹配所有一個或多個空格後緊跟grep的行。
.* #一起用代表任意字元。
[] #匹配一個指定范圍內的字元，如'[Gg]rep'匹配Grep和grep。
[^] #匹配一個不在指定范圍內的字元，如：'[^A-FH-Z]rep'匹配不包含A-R和T-Z的一個字母開頭，緊跟rep的行。
\(..\) #標記匹配字元，如'\(love\)'，love被標記為1。
\< #錨定單詞的開始，如:'\
\> #錨定單詞的結束，如'grep\>'匹配包含以grep結尾的單詞的行。
x\{m\} #重復字元x，m次，如：'0\{5\}'匹配包含5個o的行。
x\{m,\} #重復字元x,至少m次，如：'o\{5,\}'匹配至少有5個o的行。
x\{m,n\} #重復字元x，至少m次，不多於n次，如：'o\{5,10\}'匹配5--10個o的行。
\w #匹配文字和數字字元，也就是[A-Za-z0-9]，如：'G\w*p'匹配以G後跟零個或多個文字或數字字元，然後是p。
\W #\w的反置形式，匹配一個或多個非單詞字元，如點號句號等。
\b #單詞鎖定符，如: '\bgrep\b'只匹配grep。
POSIX字元:
為了在不同國家的字元編碼中保持一至，POSIX(The Portable Operating System Interface)增加了特殊的字元類，如[:alnum:]是[A-Za-z0-9]的另一個寫法。要把它們放到[]號內才能成為正則表達式，如[A- Za-z0-9]或[[:alnum:]]。在linux下的grep除fgrep外，都支持POSIX的字元類。
[:alnum:] #文字數字字元
[:alpha:] #文字字元
[:digit:] #數字字元
[:graph:] #非空字元（非空格、控制字元）
[:lower:] #小寫字元
[:cntrl:] #控制字元
[:print:] #非空字元（包括空格）
[:punct:] #標點符號
[:space:] #所有空白字元（新行，空格，製表符）
[:upper:] #大寫字元
[:xdigit:] #十六進制數字（0-9，a-f，A-F）
5．使用實例：
實例1：查找指定進程
命令：
ps -ef|grep svn
輸出：
[root@localhost ~]# ps -ef|grep svn
root 4943 1 0 Dec05 ? 00:00:00 svnserve -d -r /opt/svndata/grape/
root 16867 16838 0 19:53 pts/0 00:00:00 grep svn
[root@localhost ~]#
說明：
第一條記錄是查找出的進程；第二條結果是grep進程本身，並非真正要找的進程。
實例2：查找指定進程個數
命令：
ps -ef|grep svn -c
ps -ef|grep -c svn
輸出：
[root@localhost ~]# ps -ef|grep svn -c
2
[root@localhost ~]# ps -ef|grep -c svn
2
[root@localhost ~]#
說明：
實例3：從文件中讀取關鍵詞進行搜索
命令：
cat test.txt | grep -f test2.txt
輸出：
[root@localhost test]# cat test.txt
hnlinux
peida.cnblogs.com
ubuntu
ubuntu linux
redhat
Redhat
linuxmint
[root@localhost test]# cat test2.txt
linux
Redhat
[root@localhost test]# cat test.txt | grep -f test2.txt
hnlinux
ubuntu linux
Redhat
linuxmint
[root@localhost test]#
說明：
輸出test.txt文件中含有從test2.txt文件中讀取出的關鍵詞的內容行
實例3：從文件中讀取關鍵詞進行搜索 且顯示行號
命令：
cat test.txt | grep -nf test2.txt
輸出：
[root@localhost test]# cat test.txt
hnlinux
peida.cnblogs.com
ubuntu
ubuntu linux
redhat
Redhat
linuxmint
[root@localhost test]# cat test2.txt
linux
Redhat
[root@localhost test]# cat test.txt | grep -nf test2.txt
1:hnlinux
4:ubuntu linux
6:Redhat
7:linuxmint
[root@localhost test]#
說明：
輸出test.txt文件中含有從test2.txt文件中讀取出的關鍵詞的內容行，並顯示每一行的行號
實例5：從文件中查找關鍵詞
命令：
grep 'linux' test.txt
輸出：
[root@localhost test]# grep 'linux' test.txt
hnlinux
ubuntu linux
linuxmint
[root@localhost test]# grep -n 'linux' test.txt
1:hnlinux
4:ubuntu linux
7:linuxmint
[root@localhost test]#
說明：
實例6：從多個文件中查找關鍵詞
命令：
grep 'linux' test.txt test2.txt
輸出：
[root@localhost test]# grep -n 'linux' test.txt test2.txt
test.txt:1:hnlinux
test.txt:4:ubuntu linux
test.txt:7:linuxmint
test2.txt:1:linux
[root@localhost test]# grep 'linux' test.txt test2.txt
test.txt:hnlinux
test.txt:ubuntu linux
test.txt:linuxmint
test2.txt:linux
[root@localhost test]#
說明：
多文件時，輸出查詢到的信息內容行時，會把文件的命名在行最前面輸出並且加上":"作為標示符
實例7：grep不顯示本身進程
命令：
ps aux|grep \[s]sh
ps aux | grep ssh | grep -v "grep"
輸出：
[root@localhost test]# ps aux|grep ssh
root 2720 0.0 0.0 62656 1212 ? Ss Nov02 0:00 /usr/sbin/sshd
root 16834 0.0 0.0 88088 3288 ? Ss 19:53 0:00 sshd: root@pts/0
root 16901 0.0 0.0 61180 764 pts/0 S+ 20:31 0:00 grep ssh
[root@localhost test]# ps aux|grep \[s]sh]
[root@localhost test]# ps aux|grep \[s]sh
root 2720 0.0 0.0 62656 1212 ? Ss Nov02 0:00 /usr/sbin/sshd
root 16834 0.0 0.0 88088 3288 ? Ss 19:53 0:00 sshd: root@pts/0
[root@localhost test]# ps aux | grep ssh | grep -v "grep"
root 2720 0.0 0.0 62656 1212 ? Ss Nov02 0:00 /usr/sbin/sshd
root 16834 0.0 0.0 88088 3288 ? Ss 19:53 0:00 sshd: root@pts/0
說明：
實例8：找出已u開頭的行內容
命令：
cat test.txt |grep ^u
輸出：
[root@localhost test]# cat test.txt |grep ^u
ubuntu
ubuntu linux
[root@localhost test]#
說明：
實例9：輸出非u開頭的行內容
命令：
cat test.txt |grep ^[^u]
輸出：
[root@localhost test]# cat test.txt |grep ^[^u]
hnlinux
peida.cnblogs.com
redhat
Redhat
linuxmint
[root@localhost test]#
說明：
實例10：輸出以hat結尾的行內容
命令：
cat test.txt |grep hat$
輸出：
[root@localhost test]# cat test.txt |grep hat$
redhat
Redhat
[root@localhost test]#
說明：
實例11：輸出ip地址
命令：
ifconfig eth0|grep -E "([0-9]{1,3}\.){3}[0-9]"
輸出：
[root@localhost test]# ifconfig eth0|grep "[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}"
inet addr:192.168.120.204 Bcast:192.168.120.255 Mask:255.255.255.0
[root@localhost test]# ifconfig eth0|grep -E "([0-9]{1,3}\.){3}[0-9]"
inet addr:192.168.120.204 Bcast:192.168.120.255 Mask:255.255.255.0
[root@localhost test]#
說明：
實例12：顯示包含ed或者at字元的內容行
命令：
cat test.txt |grep -E "ed|at"
輸出：
[root@localhost test]# cat test.txt |grep -E "peida|com"
peida.cnblogs.com
[root@localhost test]# cat test.txt |grep -E "ed|at"
redhat
Redhat
[root@localhost test]#
說明：
實例13：顯示當前目錄下面以.txt 結尾的文件中的所有包含每個字元串至少有7個連續小寫字元的字元串的行
命令：
grep '[a-z]\{7\}' *.txt
輸出：
[root@localhost test]# grep '[a-z]\{7\}' *.txt
test.txt:hnlinux
test.txt:peida.cnblogs.com
test.txt:linuxmint
[root@localhost test]#
實例14:日誌文件過大，不好查看，我們要從中查看自己想要的內容，或者得到同一類數據，比如說沒有404日誌信息的
命令：
grep '.' access1.log|grep -Ev '404' > access2.log
grep '.' access1.log|grep -Ev '(404|/photo/|/css/)' > access2.log
grep '.' access1.log|grep -E '404' > access2.log
輸出：
[root@localhost test]# grep 「.」access1.log|grep -Ev 「404」 > access2.log
說明：上面3句命令前面兩句是在當前目錄下對access1.log文件進行查找，找到那些不包含404的行，把它們放到access2.log中,後面去掉』v』,即是把有404的行放入access2.log
⑦ linux 怎麼過濾日誌中大於某個數值的個數
^echo "running time (millis) = 112" | sed -rn 's/^running time \(millis\) = ([0-9]+)$/\1/p'
所以如果你想從文件里抽取：內
sed -rn 's/^running time \(millis\) = ([0-9]+)$/\1/p' 文件名
即可容
⑧ linux下在a.log文件中過濾包含關鍵詞error或者fatal的日誌,應該使用什麼語句
默認語句
多個文件可以使用grep命令,比如grepERROR/var/log/messages*。會把匹配到ERROR這個關鍵字的行和所在的日誌文件直接輸出到屏幕。
⑨ Linux系統日誌怎麼查看
1. 前言
在Linux日常管理中，我們肯定有查看某些服務的日誌需求，或者是系統本身的日誌。本文主要介紹如何查看Linux的系統日誌，包括文件的路徑、工具的使用等等。會看Linux日誌是非常重要的，不僅在日常操作中可以迅速排錯，也可以快速的定位。
2. 如何查看Linux日誌
Linux日誌文件的路徑一般位於,/var/log/，比如ngix的日誌路徑為/var/log/nginx/，如果要查看某服務的日誌，還可以使用systemctl status xxx，比如查看ssh服務的壯態，systemctl status sshd
查看Linux某服務的日誌
Liunx的配置文件在/etc/rsyslog.d里，可以看到如下信息
在linux系統當中，有三個主要的日誌子系統：
1、連接時間日誌：由多個程序執行，把記錄寫入到/var/log/wtmp和/var/run/utmp，
login等程序會更新wtmp和utmp文件，使系統管理員能夠跟蹤誰在何時登錄到系統。
2、進程統計：由系統內核執行，當一個進程終止時，為每個進程往進程統計文件中寫一個記錄。進程統計的目的是為系統中的基本服務提供命令使用統計
3、錯誤日誌：由rsyslogd守護程序執行，各種系統守護進程、用戶程序和內核通過rsyslogd守護程序向文件/var/log/messages報告值得注意的時間。另外有許多linux程序創建日誌，像HTTP和FTP這樣提供的伺服器也保持詳細的日誌。
4、其他日誌……
查看Linux日誌默認路徑
可以看到在/var/log目錄下存在很多的日誌文件，接下來就對裡面的一些常用日誌文件進行分析
主要日誌文件介紹：
內核及公共消息日誌:/var/log/messages
計劃任務日誌：/var/log/cron
系統引導日誌：/var/log/dmesg
郵件系統日誌:/var/log/maillog
用戶登錄日誌：/var/log/lastlog
/var/log/boot.log（記錄系統在引導過程中發生的時間）
/var/log/secure (用戶驗證相關的安全性事件)
/var/log/wtmp(當前登錄用戶詳細信息)
/var/log/btmp（記錄失敗的的記錄）
/var/run/utmp（用戶登錄、注銷及系統開、關等事件）
日誌文件詳細介紹：
/var/log/secure
Linux系統安全日誌，記錄用戶和工作組的情況、用戶登陸認證情況
例子：我創建了一個zcwyou的用戶，然後改變了該用戶的密碼，於是該信息就被記錄到該日誌下
Linux系統安全日誌默認路徑
該日誌就詳細的記錄了我操作的過程。
內核及公共信息日誌，是許多進程日誌文件的匯總，從該文件中可以看出系統任何變化
查看Linux內核及公共信息日誌
系統引導日誌
該日誌使用dmesg命令快速查看最後一次系統引導的引導日誌
查看Linux系統系統引導日誌
最近的用戶登錄事件，一般記錄最後一次的登錄事件
該日誌不能用諸如cat、tail等查看，因為該日誌裡面是二進制文件，可以用lastlog命令查看，它根據UID排序顯示登錄名、埠號（tty）和上次登錄時間。如果一個用戶從未登錄過，lastlog顯示 Never logged。
該日誌文件永久記錄每個用戶登錄、注銷及系統的啟動、停機的事件。該日誌為二進制文件，不能用諸如tail/cat/等命令，使用last命令查看。
記錄郵件的收發
此文件是記錄錯誤登錄的日誌，可以記錄有人使用暴力破解ssh服務的日誌。該文件用lastb打開
該日誌記錄當前用戶登錄的情況，不會永久保存記錄。可以用who/w命令來查看
3. 常用的日誌分析工具與使用方法
3.1 統計一個文本中包含字元個數
3.2 查看當天訪問排行前10的url
3.3 查看apache的進程數
3.4 訪問量前10的IP
cut部分表示取第1列即IP列，取第4列則為URL的訪問量
3.5 查看最耗時的頁面
按第2列響應時間逆序排序
3.6 使用grep查找文件中指定字元出現的次數
-o 指示grep顯示所有匹配的地方，並且每一個匹配單獨一行輸出。這樣只要統計輸出的行數就可以知道這個字元出現的次數了。
4. 總結
查看Linux日誌需求了解和熟悉使用一些常用的工具方能提升我們的查找和定位效率。比如使用 Grep 搜索，使用Tail命令，使用Cut，使用AWK 和 Grok 解析日誌和使用 Rsyslog 和 AWK 過濾等等，只要能掌握這些工具。我們才能高效地處理和定位故障點。
https://www.linuxrumen.com/rmxx/647.html
⑩ linux 怎麼過濾日誌中大於某個數值的個數
x=0
awk截取出數字
如果大於18000
就x+1
最後輸出x