user-stories/metrics-core.md

102 lines
4.8 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters

This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

# Метрики
Метрики заполняются индивидуально для каждого задания и деляется на 2 типа:
- Основные метрики заполняемые по сумме всех активных плагинов (тестов)
- Метрики на плагин. Плагином является конкретный тип теста, например, при тестировании Телемоста в отчете о задании появляются дополнительные метрики.
- То-есть Телемост = 1 плагин, GTA SA-MP = 1 плагин. В 1 задании может быть много плагинов
- Метрики записываются в collectd каждые 10 секунд (должно быть переменной), из collectd данные по умолчанию будут уходить в Graphite, например как тут: https://docs.dosgate.com/dosgate_install/#51-collectd
## Основные метрики
- Total Throughput BPS (bits per second, график)
- Client (сколько направлено)
- Server (сколько получено)
- Total Throughput PPS (packets per second, график)
- Client (сколько направлено)
- Server (сколько получено)
- Total TCP CPS (tcp protocol connections per second, график)
- Client (сколько попыток установить)
- Server (сколько установлено)
- Total UDP FPS (udp protocol flows per second, график)
- Client (сколько направлено)
- Server (сколько получено)
- TCP Instantaneous Latency (First Byte, график)
- Average Time to First Byte
- Max Time to First Byte
- Min Time to First Byte
- TCP Instantaneous latency (Last Byte, график)
- Average Time to Last Byte
- Max Time to Last Byte
- Min Time to Last Byte
- TCP Instantaneous Latency (Connections, график)
- Average Connection Latency
- TCP average latency (общее для всех плагинов в мс, график)
- UDP average latency (общее для всех плагинов в мс, график)
- Active Plugins (кол-во активных плагинов для теста и успешности их работы в сети, гистограмма):
- Успешность работы определяется тем что трафик плагина получен и клиентом и сервером, если только отправлен клиентом, а сервером не получен (даже частично) — значит initiated, но failed
- Plugins Initiated
- Plugins Succeed
- Plugins Failed
- Plugin Traffic Distribution (круговые диаграммы)
- Распределение пользователей по plugins (общее кол-во пользователей (если применимо к заданию) которое эмулируется, в %)
- Индивидуальная статистика по каждому plugin (круговые диаграммы или графики):
- BPS Client
- BPS Server
- PPS Client
- PPS Server
- TCP CPS Client
- TCP CPS Server
- UDP FPS Client
- UDP FPS Server
- TCP Instantaneous Latency (First Byte)
- TCP Instantaneous latency (Last Byte)
- TCP Instantaneous Latency (Connections)
- TCP average latency (общее для плагина в мс.)
- UDP average latency (общее для плагина в мс.)
## Метрики для плагина: Телемост
- Audio RTP PPS
- Client
- Server
- Audio RTP BPS
- Client
- Server
- Audio MOS Average (1-5, график)
- Audio MOS Distribution (гистрограмма)
- Кол-во событий в диапазоне 4.0-5.0
- Кол-во событий в диапазоне 3.5-4.0
- Кол-во событий в диапазоне 3.0-3.5
- Кол-во событий в диапазоне 2.0-3.0
- Кол-во событий в диапазоне 1.0-2.0
- Audio Delay Variation Jitter Average (us, график)
- Audio Delay Variation Jitter Distribution (гистрограмма)
- RTP Packets With Delay Variation Jitter Up To 1ms
- RTP Packets With Delay Variation Jitter Up To 3ms
- RTP Packets With Delay Variation Jitter Up To 5ms
- RTP Packets With Delay Variation Jitter Up To 10ms
- RTP Packets With Delay Variation Jitter Up To 20ms
- RTP Packets With Delay Variation Jitter Up To 40ms
- RTP Packets With Delay Variation Jitter More Than 40ms
- Audio RTP Packet Loss Distribution
- xxx
Video ...
## Метрики для плагина: GTA SA-MP