gnocchi数据的存储
Gnocchi是把索引存在了其他数据库里面,然后针对实际的操作数据存储在自己的数据库中,自己的数据库中又以: resource -> metric -> measure的数据分离形式来存储实际的监控数据,一般提取数据的时候只需要从metric层开始提取。
Resource
resource是gnocchi对openstack监控数据的一个大体的划分,有磁盘的数据,镜像的数据,网络的数据,接口的数据等等.通过下面的命令可以看到实际使用的resource的名字
metric
metric是gnocchi对数据的第二层划分,归属与resource,如resource为image的项目下面,就可能有image.download,image.serve,image.size等等,我们可以通过下面的命令看到一个resource下面的所有的metric
measures
measures是gnocchi对数据的第三层划分也是最后一层,归属于metric,保存了实际的监控数据,可以通过下面的命令去查看某一个metric的所有数据:
gnocchi存储引擎
就像mysql一样,Gnocchi也有自己的存储引擎:
- File
- Swift
- Ceph
- InfluxDB
前面3种都不是专业的的处理时序序列的存储引擎,而且都依赖一个名为Carbonara的中间件来实现存储。InfluxDB虽然是一个专业的处理时序数据的数据库,但是由于InfluxDB本身就是一个开源软件,到现在虽然集成上Gnocchi了,但是还是有很多bug。
Gnocchi在存储数据的时候采用了压缩存储的技术,所以计算方式可以大致参照下面的计算方法:
# 需要存储的空间
number of points × 9 bytes = size in bytes
# 你需要存储的点,如:1个小时的监控数据,然后你的采集的密度是60s,那就是60*60 / 60 = 60个点
number of points = timespan ÷ granularity
# 下面如果你要存储1年的数据,采集的数据密度是5s,那么一年后你将会有那么大的数据量:
size in bytes = (365 * 24 * 60 * 60)/5 × 9 = 56 764 800 bytes = 55 434 KiB = 54 MiB
上面是按照一个监控项(metric)做计算,如果你要监控N个metrics(就是对应ceilometer的meter),就要对应乘上N。
gnocchi 集成ceilometer
gnocchi安装文档可以参考:Ceilometer + Gnocchi + Aodh
ceilometer.conf需要修改配置:
[Default]
meter_dispatchers=gnocchi
event_dispatchers=gnocchi
[api]
gnocchi_is_enabled = true
[dispatcher_gnocchi]
filter_service_activity=False
filter_project=services
url=http://lb.81.merge.polex.io:8041
archive_policy=low
resources_definition_file=gnocchi_resources.yaml
ceilometer与gnocchi集成之后,除了ceilometer-alarm之外的api将变得不可用,dashboard也无法再查看到相应的记录。
gnocchi_resources.yaml
配置resources_definition_file=gnocchi_resources.yaml后,监控项在gnocchi_resources.yaml文件定义,如:
---
resources:
- resource_type: instance
archive_policy: 1days_per_sec
metrics:
- 'memory.usage'
- 'cpu_util'
- "disk.read.bytes"
- "disk.read.requests"
- "disk.write.bytes"
- "disk.write.requests"
- 'disk.read.requests.rate'
- 'disk.write.requests.rate'
- 'disk.read.bytes.rate'
- 'disk.write.bytes.rate'
- 'disk.capacity'
- 'disk.allocation'
- 'disk.usage'
attributes:
host: resource_metadata.host
image_ref: resource_metadata.image_ref
display_name: resource_metadata.display_name
flavor_id: resource_metadata.(instance_flavor_id|(flavor.id))
server_group: resource_metadata.user_metadata.server_group
- resource_type: instance_network_interface
archive_policy: 1days_per_sec
metrics:
- 'network.outgoing.packets.rate'
- 'network.incoming.packets.rate'
- 'network.outgoing.bytes.rate'
- 'network.incoming.bytes.rate'
attributes:
name: resource_metadata.vnic_name
instance_id: resource_metadata.instance_id
- resource_type: instance_disk
archive_policy: 1days_per_sec
metrics:
- 'disk.device.read.requests.rate'
- 'disk.device.write.requests.rate'
- 'disk.device.read.bytes.rate'
- 'disk.device.write.bytes.rate'
- 'disk.device.capacity'
- 'disk.device.allocation'
- 'disk.device.usage'
attributes:
name: resource_metadata.disk_name
instance_id: resource_metadata.instance_id
- resource_type: network
archive_policy: 1days_per_sec
metrics:
- 'bandwidth'
- 'network.services.lb.outgoing.bytes'
- 'network.services.lb.incoming.bytes'
- 'network.services.lb.total.connections'
- 'network.services.lb.active.connections'
gnocchi_resources.yaml文件默认定了较多的监控项,上面的例子定义了一些常用监控项。
archive_policy为采用的监控策略,可以通过下面的命令常看:
granularity为监控的时间间隔,timespan为保留时间
创建archive_policy的命令为:
gnocchi archive-policy create -d granularity:1s,points:86400 1days_per_sec
创建archive_policy只需要指定granularity和points ,它们的乘积即为timespan