『壹』 如何清除linux環境變數PATH中的重復項
1.別用$PATH
2.PATH=$PATH
3.肯定是你自己的問題,系統啟動默認全局是用profile裡面的PATH
然後讀你自己.bashrc等文件
『貳』 利用Linux命令行進行文本按行去重並按重復次數排序
利用linux命令行進行文本按行去重並按重復次數排序linux命令行提供了非常強大的文本處理功能，組合利用linux命令能實現好多強大的功能。本文這里舉例說明如何利用linux命令行進行文本按行去重並按重復次數排序。主要用到的命令有sort，uniq和cut。其中，sort主要功能是排序，uniq主要功能是實現相鄰文本行的去重，cut可以從文本行中提取相應的文本列(簡單地說，就是按列操作文本行)。用於演示的測試文件內容如下：[plain]Hello
World.
Apple
and
Nokia.
Hello
World.
I
wanna
buy
an
Apple
device.
The
Iphone
of
Apple
company.
Hello
World.
The
Iphone
of
Apple
company.
My
name
is
Friendfish.
Hello
World.
Apple
and
Nokia.
實現命令及過程如下：[plain]1、文本行去重
(1)排序
由於uniq命令只能對相鄰行進行去重復操作，所以在進行去重前，先要對文本行進行排序，使重復行集中到一起。
$
sort
test.txt
Apple
and
Nokia.
Apple
and
Nokia.
Hello
World.
Hello
World.
Hello
World.
Hello
World.
I
wanna
buy
an
Apple
device.
My
name
is
Friendfish.
The
Iphone
of
Apple
company.
The
Iphone
of
Apple
company.
(2)去掉相鄰的重復行
$
sort
test.txt
|
uniq
Apple
and
Nokia.
Hello
World.
I
wanna
buy
an
Apple
device.
My
name
is
Friendfish.
The
Iphone
of
Apple
company.
2、文本行去重並按重復次數排序
(1)首先，對文本行進行去重並統計重復次數(uniq命令加-c選項可以實現對重復次數進行統計。)。
$
sort
test.txt
|
uniq
-c
2
Apple
and
Nokia.
4
Hello
World.
1
I
wanna
buy
an
Apple
device.
1
My
name
is
Friendfish.
2
The
Iphone
of
Apple
company.
(2)對文本行按重復次數進行排序。
sort
-n可以識別每行開頭的數字，並按其大小對文本行進行排序。默認是按升序排列，如果想要按降序要加-r選項(sort
-rn)。
$
sort
test.txt
|
uniq
-c
|
sort
-rn
4
Hello
World.
2
The
Iphone
of
Apple
company.
2
Apple
and
Nokia.
1
My
name
is
Friendfish.
1
I
wanna
buy
an
Apple
device.
(3)每行前面的刪除重復次數。
cut命令可以按列操作文本行。可以看出前面的重復次數佔8個字元，因此，可以用命令cut
-c
9-
取出每行第9個及其以後的字元。
$
sort
test.txt
|
uniq
-c
|
sort
-rn
|
cut
-c
9-
Hello
World.
The
Iphone
of
Apple
company.
Apple
and
Nokia.
My
name
is
Friendfish.
I
wanna
buy
an
Apple
device.
下面附帶說一下cut命令的使用，用法如下：[plain]cut
-b
list
[-n]
[file
...]
cut
-c
list
[file
...]
cut
-f
list
[-d
delim][-s][file
...]
上面的-b、-c、-f分別表示位元組、字元、欄位（即byte、character、field）；
list表示-b、-c、-f操作范圍，-n常常表示具體數字；
file表示的自然是要操作的文本文件的名稱；
delim（英文全寫：delimiter）表示分隔符，默認情況下為TAB；
-s表示不包括那些不含分隔符的行（這樣有利於去掉注釋和標題）
三種方式中，表示從指定的范圍中提取位元組（-b）、或字元（-c）、或欄位（-f）。
范圍的表示方法：
n
只有第n項
n-
從第n項一直到行尾
n-m
從第n項到第m項(包括m)
-m
從一行的開始到第m項(包括m)
-
從一行的開始到結束的所有項
在寫這篇文章的時候，用到了vim的大小寫轉化的快捷鍵：gu變小寫，gU變大寫。結合ctrl+v能夠將一片文字中的字元進行大小寫轉換，非常好用。
『叄』 在linux系統如何grep過濾中，不包含某些字元
1、linux系統中grep命令是一種強大的文本搜索工具，它能使用正則表達式搜索文本，並把匹配的行列印出來。grep全稱是Global Regular Expression Print，表示全局正則表達式版本，它的使用許可權是所有用戶。
2、格式
grep[options]
3、主要參數
[options]主要參數：
－c：只輸出匹配行的計數。
－I：不區分大小寫(只適用於單字元)。
－h：查詢多文件時不顯示文件名。
－l：查詢多文件時只輸出包含匹配字元的文件名。
－n：顯示匹配行及行號。
－s：不顯示不存在或無匹配文本的錯誤信息。
－v：顯示不包含匹配文本的所有行。
pattern正則表達式主要參數：
\：忽略正則表達式中特殊字元的原有含義。
^：匹配正則表達式的開始行。
$: 匹配正則表達式的結束行。
\<：從匹配正則表達式的行開始。
\>：到匹配正則表達式的行結束。
[ ]：單個字元，如[A]即A符合要求。
[ - ]：范圍，如[A-Z]，即A、B、C一直到Z都符合要求。
。：所有的單個字元。
* ：有字元，長度可以為0。
4、grep命令使用簡單實例：
$ grep 『test』d*
顯示所有以d開頭的文件中包含test的行。
$ grep 『test』aa bb cc
顯示在aa，bb，cc文件中匹配test的行。
$ grep『[a-z]\{5\}』 aa
顯示所有包含每個字元串至少有5個連續小寫字元的字元串的行。
『肆』 linux 中如何用vi編輯器替換相同的字元
按I進入輸入模式就可以了
然後再按Esc鍵進入末行模式
輸入WQ保存
Q!是退出
『伍』 如何快速刪除Linux文件中的重復數據行
用uniq，如下，抄將 1.txt 中 所有 "相鄰" 重復行合並成一行，結果存入 2.txt
uniq1.txt>2.txt
如果是想將相鄰重復行徹底刪掉（而不是合並成一行），可以用
uniq-u1.txt>2.txt
『陸』 grep \"%s\" %s | awk '{print $5}' > %s\n 這句話是什麼意思
·1、這應該是一個在宿主語言中(比如:c語言)待拼接成一個完整的linux/Unix命令串的字元串,待拼接完成後,再利用system("")調用這個命令;
以c語言為例,拼接如下:
sprintf(cmd,"grep \"%s\" %s | awk '{print $5}' > %s\n",str_a,str_b,str_c);
這個命令的轉換成linux直觀的命令為:grep "字元串_1" 字元串_2 | awk '{print $5}' > 字元串_3
其中:
"字元串_1"為grep過濾的模式;
"字元串_2"為grep篩選的對象文件名;
"字元串_3"為篩選結果輸出的文件名;
即,從文件名為"字元串_2"中篩選滿足條件 "字元串_1" 的行,並按照空格作為行分隔符,然後提取第5列,寫入(不重復)文件名為"字元串_3"的文件中.
·2、因此,這個 grep \"%s\" %s | awk '{print $5}' > %s\n 命令串片段的作用為:
從文件名為"第二個%s"的文件中,篩選滿足grep條件"第1個%s"的行,並將該行中以空格分隔的第5列寫入文件名為"第3個%s"的文件中. (PS:">"的作用不用解釋吧)
3、最後,希望下次樓主問的問題不要這么含蓄,乍一看還真不知道是啥.
『柒』 linux 去除空行，去除重復，去除特定符號
cat /etc/services | sed "/^$/d" | uniq | sed "/^#/d"
cat /etc/services 打開文件 是你自己說用cat的，這里可專以不用屬cat的
|是管道
sed "/^$/d" 刪除空行
uniq排除重復的行
sed "/^#/d" 刪除以#開頭的行
『捌』 如何在linux下匹配兩個文件的相同字元串
可以使用vim打開文件，然後通過 vim編輯 中的 /（向後查找）或者 ?（向前查找）來查找相應的字元串。
示例：用vim打開/etc/passwd查找admin用戶名
vim /etc/passwd
打開文件後，直接輸入 /admin 回車即可查找如下圖所示：
回車執行，vim查找到後，會標識出來，如下圖所示：
另外：使用vim也可以打開可執行程序來查找字元串（在程序沒有加殼或者使用其它字元串保護的前提下)。
示例：在test程序中查找hello字元串。
雖然使用vim打開二進製程序文件，顯然的是亂碼，但是明文字元串依然能查找到，如下圖所示：
擴展：在Linux中如果要查找二進程文件即應用程序中的字元串，可以使用反匯編器、調試器等等，比如IDA，就提供強大的字元串查找功能。
『玖』 linux下編寫python如何去掉字元串重復的字母
1
2
3
import re
s='~!@#adjdakdakjjkd002212ADSAADA()//../eqqwedadjadj'
print re.sub('[^A-Za-z]','',s)
>>
『拾』 Linux系統下怎麼刪除文本中的重復行
用uniq，如下，將
1.txt
中
所有
"相鄰"
重復行合並成一行，結果存入
2.txt
uniq
1.txt
>
2.txt如果是想將相鄰重復行徹底刪掉（而不是合並成一行），可以用
uniq
-u
1.txt
>
2.txt