『壹』 ELK日誌提取多行關鍵字,logstash和es能實現多種多行查詢的功能嗎
日誌的提取它的關鍵字，如果，二月的話查詢功能會有一些錯誤的顯示
『貳』 請教logstash的多行日誌問題，最後一行的日誌總是不能獲取
通常日誌管理是逐漸崩潰的——當日誌對於人們最重要的時候，也就是出現問題的時候，這個漸進的過程就開始了。日誌管理一般會經歷一下3個階段：
初級管理員將通過一些傳統工具（如cat、tail、sed、awk、perl以及grep）對日誌進行檢查，但它的適用范圍僅限於少量的主機和日誌文件類型；
考慮到現實中的可擴展性問題，日誌管理也會逐步進化，使用如rsyslog和syslog-ng這樣的工具進行集中化的管理；
當日誌信息越來越大的時候，從快速增長的日誌數據流中提取出所需的信息，並將其與其他相關聯的事件進行關聯，將變得越加困難，此時LogStash就提供了一個很好的解決方案
『叄』 logstash filter的使用方法
Logstash是一個接收，處理，轉發日誌的工具。支持系統日誌，webserver日誌，錯誤日誌，應用日誌，總之包括所有可以拋出來的日誌類型。
在一個典型的使用場景下(ELK)：用Elasticsearch作為後台數據的存儲，kibana用來前端的報表展示。Logstash在其過程中擔任搬運工的角色，它為數據存儲，報表查詢和日誌解析創建了一個功能強大的管道鏈。Logstash提供了多種多樣的 input,filters,codecs和output組件，讓使用者輕松實現強大的功能。
依賴條件：JAVA
Logstash運行僅僅依賴java運行環境(jre)。各位可以在命令行下運行java -version命令 顯示類似如下結果：java -version
java version "1.7.0_45"
Java(TM) SE Runtime Environment (build 1.7.0_45-b18)
Java HotSpot(TM) 64-Bit Server VM (build 24.45-b08, mixed mode)
為了確保成功運行Logstash建議大家使用較近期的jre版本。 可以獲取開源版本的jre在：http://openjdk.java.net 或者你可以在官網下載Oracle jdk版本：http://www.oracle.com/technetwork/java/index.html 一旦jre已經成功在你的系統中安裝完成，我們就可以繼續了
啟動和運行Logstash的兩條命令示例
第一步我們先下載Logstashcurl -O https://download.elasticsearch.org/logstash/logstash/logstash-1.4.2.tar.gz
現在你應該有了一個叫logstash-1.4.2.tar.gz的文件了。 我們把它解壓一下tar zxvf logstash-1.4.2.tar.gz
cd logstash-1.4.2
現在我們來運行一下：bin/logstash -e 'input { stdin { } } output { stdout {} }'
我們現在可以在命令行下輸入一些字元，然後我們將看到logstash的輸出內容：hello world
2013-11-21T01:22:14.405+0000 0.0.0.0 hello world
Ok,還挺有意思的吧... 以上例子我們在運行logstash中，定義了一個叫"stdin"的input還有一個"stdout"的output，無論我們輸入什麼字元，Logstash都會按照某種格式來返回我們輸入的字元。這里注意我們在命令行中使用了-e參數，該參數允許Logstash直接通過命令行接受設置。這點尤其快速的幫助我們反復的測試配置是否正確而不用寫配置文件。
讓我們再試個更有意思的例子。首先我們在命令行下使用CTRL-C命令退出之前運行的Logstash。現在我們重新運行Logstash使用下面的命令：bin/logstash -e 'input { stdin { } } output { stdout { codec => rubydebug } }'
我們再輸入一些字元，這次我們輸入"goodnight moon"：goodnight moon
{
"message" => "goodnight moon",
"@timestamp" => "2013-11-20T23:48:05.335Z",
"@version" => "1",
"host" => "my-laptop"}
以上示例通過重新設置了叫"stdout"的output(添加了"codec"參數)，我們就可以改變Logstash的輸出表現。類似的我們可以通過在你的配置文件中添加或者修改inputs、outputs、filters，就可以使隨意的格式化日誌數據成為可能，從而訂制更合理的存儲格式為查詢提供便利。
使用Elasticsearch存儲日誌
現在，你也許會說："它看起來還挺高大上的，不過手工輸入字元，並把字元從控制台回顯出來。實際情況並不實用"。說的好，那麼接下來我們將建立Elasticsearch來存儲輸入到Logstash的日誌數據。如果你還沒有安裝Elasticsearch，你可以下載RPM/DEB包或者手動下載tar包，通過以下命令：curl -O https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-1.1.1.tar.gz
tar zxvf elasticsearch-1.1.1.tar.gz
cd elasticsearch-1.1.1/
./bin/elasticsearch
『肆』 logstash怎麼過濾交換機路由器的日誌
logstash過濾交換機路來由器的日誌源的寫法：
寫一個配置文件，可命名為logstash.conf，輸入以下內容：
input {
file {
path => "/data/web/logstash/logFile/*/*"
start_position => "beginning" #從文件開始處讀寫
}
# stdin {} #可以從標准輸入讀數據
}
定義的數據源，支持從文件、stdin、kafka、twitter等來源，甚至可以自己寫一個input plugin。如果像上面那樣用通配符寫file，如果有新日誌文件拷進來，它會自動去掃描。
『伍』 logstash怎麼收集logback產生的日誌
通常日誌管理是逐漸崩潰的——當日誌對於人們最重要的時候，也就是出現問題的時候，這個漸進的過程就開始了。日誌管理一般會經歷一下3個階段：初級管理員將通過一些傳統工具（如cat、tail、sed、awk、perl以及grep）對日誌進行檢查，但它的適用范圍僅限於少量的主機和日誌文件類型；考慮到現實中的可擴展性問題，日誌管理也會逐步進化，使用如rsyslog和syslog-ng這樣的工具進行集中化的管理；當日誌信息越來越大的時候，從快速增長的日誌數據流中提取出所需的信息，並將其與其他相關聯的事件進行關聯，將變得越加困難，此時LogStash就提供了一個很好的解決方案
『陸』 如何過濾一些不需要的log logstash
/var/log/：系統的引導日誌:/var/log/boot.log核心啟動日誌:/var/log/dmesg系統報錯日誌:/var/log/messages郵件系統日誌:/var/log/maillogFTP系統日誌:/var/log/xferlog安全信息和系統登錄與網路連接的信息:/var/log/secure登錄記錄:/var/log/wtmp記錄登錄者訊錄，二進制文件，須用last來讀取內容who-u/var/log/wtmp查看信息News日誌:/var/log/spoolerRPM軟體包:/var/log/rpmpkgsXFree86日誌:/var/log/XFree86.0.log樓上的要查什麼的當然用tail更好
『柒』 filebeat 多個日誌輸出到logstash後怎麼區分
它是用來替代 Logstash Forwarder 的下一代 Logstash 收集器，是為了更快速穩定輕量低耗地進行收集工作，它可以很方便地與 Logstash 還有直接與 Elasticsearch 進行對接.
filebeat 是在 Logstash Forwarder 的源碼基礎上演化過來的項目.
1. logstash和filebeat都是可以作為日誌採集的工具，目前日誌採集的工具有很多種，如fluentd, flume, logstash,betas等等。甚至最後我決定用filebeat作為日誌採集端工具的時候，還有人問為什麼不用flume,logstash等採集工具。
2. logstash出現時間要比filebeat早許多，隨著時間發展，logstash不僅僅是一個日誌採集工具，它也是可以作為一個日誌搜集工具，有豐富的input|filter|output插件可以使用。常用的ELK日誌採集方案中，大部分的做法就是將所有節點的日誌內容上送到kafka消息隊列，然後使用logstash集群讀取消息隊列內容，根據配置文件進行過濾。上送到elasticsearch。
『捌』 logstash收集日誌怎麼解決配置問題
通志管理逐漸崩潰——志於重要候現問題候漸進程始志管理般經歷3階段： 初級管理員通些傳統工具（cat、tail、sed、awk、perl及grep）志進行檢查適用范圍僅限於少量主機志文件類型； 考慮現實擴展性問題志管理逐步進化使用rsyslogsyslog-ng工具進行集化管理； 志信息越越候快速增志數據流提取所需信息並其與其相關聯事件進行關聯變越加困難LogStash提供解決
『玖』 使用logstash過濾日誌，正則該怎麼寫呢
寫一個配置文件，可命名為logstash.conf，輸入以下內容：
input {
file {
path => "/data/web/logstash/logFile/*/*"
start_position => "beginning" #從文件開始處讀寫
}
# stdin {} #可以從標准輸入專讀數據
}
定義的數屬據源，支持從文件、stdin、kafka、twitter等來源，甚至可以自己寫一個input plugin。如果像上面那樣用通配符寫file，如果有新日誌文件拷進來，它會自動去掃描。