shell過濾html標簽

Ⅰ 如何通過Shell的Curl抓取某個網頁的指定節點間的內容

1、要用程序抓取網頁自動保存到本地，就要會用socket編程，或者學習使用libcurl庫，不做網頁抓取的時候，這些知識依然非常有用。而且，不同的網頁，內容不同，規律可能也不同。
2、網頁分析，本質是字元串處理和分析。所以需要掌握正則表達式和字元串處理相關的函數，以及函數庫，比如tidy庫等。正則表達式是用來匹配一類字元串的，方便找規律，也方便處理。而且，正則表達式跟語言無關，什麼語言都能用得到。標准C庫中沒有正則表達式相關的函數，一般來說C中使用兩種正則表達式庫，一為POSIX C正則庫，二為perl正則庫PCRE。相比較而言PCRE要強大些，POSIX C正則庫就足夠使用。
3、常式，將下載下來的網頁源代碼處理成沒有標簽的純文字文本。
轉自網路知道

Ⅱ shell如何搜索字元串並輸出

1、首先你可以grep，然後把結果重定向到某個文件裡面
2、再用sed或是awk對這個文件進行處理，把你需要的挑出來

Ⅲ Xshell中連接後標簽不見了，怎麼再度找回來，謝謝。

Xshell中連接後標簽不見了，再度找回來的方法和詳細的操作步驟如下：

1、首先，單擊桌面上的「Xshell」圖標以打開軟體，如下圖所示。

Ⅳ Unix shell語言 我想從file中逐行讀取，使用awk分隔欄位，篩選含有指定標簽

tag="TPP"
catfile|awk-vtag=$tag'BEGIN{a=0}
$1=="<"tag">"{a=1}
a==1{print$0>>tag".tmp"}
$1=="</"tag">"{exit}'

這里的tag也可以設成從腳本參數進行賦值

思路：設置一個變數，開始是0（也可以設置成字元等），遇到<tag>，變數改變成1

後面只要a==1就將此行（整行用$0表示）導出到文件。遇到</tag>時，退出awk，不再列印後面的內容。

Ⅳ shell 格式化span標簽

光是sed不行的， 要使用正則， 和awk， grep等命令
這個可以幫樓主搞定， 以後有shell編程的， linux系統管理的， 數據開發需求的問題
都行。
希望年能幫到大家， 看下網名

Ⅵ Shell腳本處理文本換行問題

使用一個sed命令即可：

解釋：

/<import/ { 如果某行找到<import 則執行後面大括弧中的內容

：go； 設置一個標簽

/</import>/!{ 查找</import> 如果沒找到則執行大括弧中的內容

N; ——再讀取一行追加到模式空間

bgo;}} ——跳轉到go標簽

上面會循環一直將 從<import 開始 到</import> 結束的各行讀到入模式空間

s/ //g; ——刪除模式空間中所有的換行符

p——列印模式空間內容，即將跨行的import變成1行。

Ⅶ 如何用shell獲取html網頁中指定的文本數據

import sys

from lxml import etree

reload(sys)

sys.setdefaultencoding("utf8")

import requests

r = requests.get('http://best.pconline.com.cn/')

html = r.text

xmlhtml = etree.HTML(html)

content = xmlhtml.xpath('//div[starts-with(@id,"topic")]/div[1]/a[2]/text()')

urllist = xmlhtml.xpath('//div[starts-with(@id,"topic")]/div[1]/a[2]/@href')

lastime = xmlhtml.xpath('//div[starts-with(@id,"topic")]/div[2]/div[2]/span[2]/text()')

data_text = [ text for text in content ]

data_url = [ url for url in urllist ]

data_time = [ t.strip() for t in lastime ]

for i in xrange(0, len(data_text), 1):

print "%s, %s, %s" % (data_text[i], data_url[i], data_time[i])

Ⅷ 如何在LogCat里過濾標簽

logcat -s Filter:I *:S在-s前加上-d可以只查看當前已有記錄後就關閉輸出流。
logcat是Android中一個命令行工具，可以用於得到程序的log信息。
adb logcat -s <tag>[:priority]

-s Set default filter to silent.
Like specifying filterspec '*:s'

where <tag> is a log component tag (or * for all) and priority is:
V Verbose
D Debug
I Info
W Warn
E Error
F Fatal
S Silent (supress all output)

'*' means '*:d' and <tag> by itself means <tag>:v

If not specified on the commandline, filterspec is set from ANDROID_LOG_TAGS.
If no filterspec is found, filter defaults to '*:I'

If not specified with -v, format is set from ANDROID_PRINTF_LOG
or defaults to "brief"

Ⅸ Unix shell語言 我想從file中逐行讀取，使用awk分隔欄位，篩選含有指定標簽tag的行

還得看具體的需求，示例如下

awk'/^[[:space:]]*<DllLibName[>]/{print}'filename