kibana添加日志数据,kibana 下载日志

kibana基础操作

Kibana 是一款开源的数据分析和可视化平台，它是 Elastic Stack 成员之一，设计用于和 Elasticsearch 协作。可以使用 Kibana 对 Elasticsearch 索引中的数据进行搜索、查看、交互操作。也可以很方便的利用图表、表格及地图对数据进行多元化的分析和呈现。

学习网址:

一、工具栏导航

graph

在Elasticsearch数据中显示并分析相关关系。

discover

通过查询和过滤原始文档以交互方式浏览数据。

visualize

在Elasticsearch索引中创建可视化并聚合数据存储。

dashboard

显示并共享可视化和保存的搜索的集合。

canvas

以像素完美的方式展示您的数据。

maps

探索来自Elasticsearch和Elastic Maps Service的地理空间数据。

machine learning

自动对时间序列数据的正常行为建模以检测异常。

infrastructure

探索基础结构指标和常见服务器，容器和服务的日志。

logs

实时流式记录日志或在类似控制台的体验中滚动浏览历史视图。

APM

从应用程序内部自动收集深入的性能指标和错误。

uptime

执行端点运行状况检查和正常运行时间监视。

SIEM

探索安全指标并记录事件和警报

Console

跳过cURL并使用此JSON接口直接处理您的数据。

Index Patterns

管理有助于从Elasticsearch检索数据的索引模式。

Monitoring

跟踪弹性堆栈的实时运行状况和性能。

Rollups

将历史数据汇总并存储在较小的索引中，以供将来分析。

Saved Objects

导入，导出和管理您保存的搜索，可视化和仪表板。

Security Settings

保护您的数据并轻松管理哪些用户可以访问用户和角色。

Spaces

将仪表板和其他保存的对象组织到有意义的类别中。

Watcher

通过创建，管理和监视警报来检测数据中的更改。

Dev Tools

开发工具

metrics

从服务器上运行的操作系统和服务收集指标。

management

管理索引，索引模式，保存的对象，Kibana设置等。

二、查询语法

1.通配符搜索可以在单个条件下运行，?用于替换单个字符，以及*替换零个或多个字符

2.常用表达通过将正则表达式模式包含在正斜杠（"/"）中，可以将它们嵌入查询字符串中

3.模糊性我们可以使用“模糊”运算符搜索与我们的搜索词相似但不完全相同的词

4.范围可以为日期，数字或字符串字段指定范围。包含范围用方括号指定，[min TO max]排除范围用花括号指定{min TO max}

三、Discover 的数据探索功能

搜索页面详情如下图：

四、Visualize的操作及其配置

点击创建新的可视化，选择图表类型和数据索引来进行可视化绘图操作。

可以通过单击 + Add Metrics 按钮来添加聚合。

在 Custom Label 输入域中输入字符串以更改显示标签。

为视图X轴选择一个桶聚合：

一旦指定了 X 轴聚合，可以定义子聚合来优化可视化。单击 + Add Sub Aggregation 定义子聚合，然后选择 Split Area 或 Split Chart ，然后从类型列表中选择一个子聚合。

在图表轴上定义多个聚合时，可以使用聚合类型右侧的向上或向下箭头来更改聚合的优先级。

五、Dashboard的使用

要用仪表板，你需要至少有一个已保存的 visualization。

Kibana 仪表板（Dashboard） 展示保存的可视化结果集合。在编辑模式下，可以根据需要安排和调整可视化结果集，并保存仪表板，以便重新加载和共享。

日志查询神器 Kibana简单使用

Kibana 是通向 Elastic 产品集的窗口。 它可以在 Elasticsearch 中对数据进行视觉探索和实时分析。

时间过滤既按照时间范围查询document内容，如查询最近一个小时、最近一天、当天的数据等。也支持具体的时间范围查询(精确到毫秒)。

1).Time Range范围查询

条件查询Kibana支持两种方式查询。

1).通过Add Filter 按钮 添加过滤条件查询如下所示。

ToolBar工具按钮包含

可视化 (Visualize) 功能可以为您的 Elasticsearch 数据创建可视化控件。然后，您就可以创建仪表板将这些可视化控件整合到一起展示。

线形图，区域图和条形图允许您在 X/Y 轴上绘制数据。绘制数据之前首先需要明确X轴Y轴的数据指标是什么，只有确定了XY轴指标之后才能进行绘制。下边我以Vertical Bar(垂直柱形图)为例。

Markdown 控件是一个文本输入字段，支持 Github 风格的 Markdown 文本。Kibana 会渲染输入到该字段的文本，并把结果展示在仪表板上。

语法教程参见：

每个时间序列可视化生成器又包含5个子可视化页面

Kibana 仪表板（Dashboard） 展示保存的可视化结果集合。

示例如下：

Options:选项

elk如何做到端到端100%完全传输日志？在kibana看到的日志数量和后台看的少了几十万，是什么原因啊？

2.1 日志的采集灵活性是我们选择日志采集方案更看重的因素，所以logstash属于首先方案， 它可以兼顾多种不同系统和应用类型等因素的差异，从源头上进行一些初步的日志预处理。 logstash唯一的小缺憾是它的不轻便， 因为它是使用jruby开发并跑在java虚拟机上的agent， 当然啦，同时也是优点，即各种平台上都可以用。 2.2 日志的汇总与过滤 kafka在我们挖财已经属于核心的中间件服务， 所以， 日志的汇总自然而然会倾向于使用kafka。日志的过滤和处理因为需求的多样性，可以直接对接订阅kafka， 然后根据各自的需求进行日志的定制处理， 比如过滤和监控应用日志的异常，即使通过zabbix进行预警； 或者数据仓库方面在原始日志的基础上进行清洗和转换，然后加载到新的数据源中； 2.3 日志的存储原始的日志存储我们采用ElasticSearch， 即ELK技术栈中E的原本用途，遵循ELK技术栈中各个方案之间的通用规范， 比如日志如索引采用logstash与kibana之间约定的index pattern。日志的衍生数据则日志使用各方根据需求自行选择。 2.4 日志的分析与查询 ELK技术栈中的Kibana已经可以很好的满足这一需求，这里我们不折腾。 3 需要解决哪些技术问题？因为我们在ELK技术栈的处理链路上插入了一些扩展点，所以，有些问题需要解决和澄清... 3.1 logstash与kafka的对接 ELK技术栈中， Logstash和Elastic Search是通过logstash的elasticsearch或者elasticsearch_http这几个output直接对接的， 为了让logstash转而对接kafka，我们有几种选择： logstash-kafka logstash-output-kafka logstash的httpoutput 第一种和第二种方案都需要编译打包相应的依赖到logstash，然后随同logstash一起部署到服务结点， 虽然可以work， 但依赖重， 资源消耗多， 通用性不强；个人更倾向于第三种方案，即使用logstash默认提供的http这个output， 因为http比较通用， 而且本身我们的kafka前面就有为了多系统对接而提供的http proxy方案部署。另外，依赖的管理和升级都在服务端维护，对每个服务结点是透明的。 当然， 唯一的弱点是效率可能不如基于长连接的消息传递高，只是暂时不是问题，即使将来成为瓶颈，也可以通过sharding的形式进行扩展。 3.2 kafka到elastic search的数据链路对接 kafka和es之间我们要加入一套日志过滤与处理系统， 这套系统是我们发挥整个体系最大威力的地方。 在整个系统的处理pipeline中，我们可以根据需求添加任意需要的Filter/Processor, 比如服务于应用报警的Filter/Processor，服务于数据仓库ETL的Filter/Processor等等。 但不管前面做了多少事情， 日志最终是要接入到ES进行存储的。因为ELK技术栈中三者的对接遵循一些规范或者说规则， 而我们又需要继续复用这个技术栈中的服务提供的特定功能， 所以，即使是我们在整个处理链路中插入了扩展点，但数据的存储依然需要遵循ELK原来的规范和规则， 以便Kibana可以从ES中捞日志出来分析和展示的时候不需要任何改动。 logstash存入ES的日志，一般遵循如下的index pattern： logstash-%{+YYYY.MM.dd} 使用日期进行索引（index）界定的好处是， 可以按照日期范围定期进行清理。 NOTE 进一步深入说明一下， 针对不同的日志类别， index pattern也最好分类对应。更多信息: Each log line from the input file is associated with a logstash event. Each logstash event has fields associated with it. By default, "message", "@timestamp", "@version", "host", "path" are created. The "message" field, referenced in the conditional statement, contains all the original text of the log line. 日志处理系统可以使用ES的java客户端或者直接通过ES的HTTP服务进行采集到的日志索引操作。

,

filebeat+elasticsearch+logstash+kibana收集系统日志(docker)

我们这里用到的是 filebeat+elk(elasticsearch+logstash+kibana) 来进行系统日志的收集。filebeat安装在各个服务器中，Logstash+ElasticSearch+Kibana安装在一台专门用于基础服务的服务器上。

Filebeat是一个轻量级的托运人，用于转发和集中日志数据. Filebeat作为代理安装在服务器上，监视您指定的日志文件或位置，收集日志事件，并将它们转发到 ElasticSearch 或 Logstash 进行索引.

官方中文文档：

Logstash是一个开源的服务器端数据处理管道，可以同时从多个数据源获取数据，并对其进行转换，然后将其发送到你最喜欢的“存储”。

官方中文文档：

Elasticsearch 是一个开源的搜索引擎，建立在一个全文搜索引擎库 Apache Lucene? 基础之上。Lucene 可以说是当下最先进、高性能、全功能的搜索引擎库--无论是开源还是私有。

官方中文文档：

《Elasticsearch:权威指南》：

Kibana 是一款开源的数据分析和可视化平台，它是 Elastic Stack 成员之一，设计用于和 Elasticsearch 协作。您可以使用 Kibana 对 Elasticsearch 索引中的数据进行搜索、查看、交互操作。您可以很方便的利用图表、表格及地图对数据进行多元化的分析和呈现。

官方中文文档：

nginx.conf中设置日志文件格式:

修改完成后，通过 sudo nginx -t 来检查配置文件是否正确，然后 sudo nginx -s reload 来重启

filebeat各系统安装教程详见官方文档。

我这里安装的deb包(rpm包也同样)，配置文件在 /etc/filebeat/filebeat.yml ,

filebeat命令：

参数介绍：

在/usr/local/文件夹下依次创建logstash/conf.d/logstash.conf

grok正则在线验证地址：

正则代表的含义：

配置成功后，执行如下命令重启docker中的logstash (有时会重启失败，多试几次吧)

在浏览器中输入 进入kibana

然后如下设置

然后创建 index pattern

然后选择@timestamp

最后在Discover标签页就可以看到了