user-stories/metrics-core.md

136 lines
7.2 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters

This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

# Метрики
Метрики заполняются индивидуально для каждого задания и деляется на 2 типа:
- Основные метрики заполняемые по сумме всех активных плагинов (тестов)
- Метрики на плагин. Плагином является конкретный тип теста, например, при тестировании Телемоста в отчете о задании появляются дополнительные метрики.
- То-есть Телемост = 1 плагин, GTA SA-MP = 1 плагин. В 1 задании может быть много плагинов
- Метрики записываются в collectd каждые 10 секунд (должно быть переменной), из collectd данные по умолчанию будут уходить в Graphite, например как тут: https://docs.dosgate.com/dosgate_install/#51-collectd
## Основные метрики
- Total Throughput BPS (bits per second, график)
- Client (сколько направлено)
- Server (сколько получено)
- Total Throughput PPS (packets per second, график)
- Client (сколько направлено)
- Server (сколько получено)
- Total TCP CPS (tcp protocol connections per second, график)
- Client (сколько попыток установить)
- Server (сколько установлено)
- Total UDP FPS (udp protocol flows per second, график)
- Client (сколько направлено)
- Server (сколько получено)
- TCP Instantaneous Latency (First Byte, график)
- Average Time to First Byte
- Max Time to First Byte
- Min Time to First Byte
- TCP Instantaneous latency (Last Byte, график)
- Average Time to Last Byte
- Max Time to Last Byte
- Min Time to Last Byte
- TCP Instantaneous Latency (Connections, график)
- Average Connection Latency
- TCP average latency (общее для всех плагинов в мс, график)
- UDP average latency (общее для всех плагинов в мс, график)
- Active Plugins (кол-во активных плагинов для теста и успешности их работы в сети, гистограмма):
- Успешность работы определяется тем что трафик плагина получен и клиентом и сервером, если только отправлен клиентом, а сервером не получен (даже частично) — значит initiated, но failed
- Plugins Initiated
- Plugins Succeed
- Plugins Failed
- Plugin Traffic Distribution (круговые диаграммы)
- Распределение пользователей по plugins (общее кол-во пользователей (если применимо к заданию) которое эмулируется, в %)
- Индивидуальная статистика по каждому plugin (круговые диаграммы или графики):
- BPS Client
- BPS Server
- PPS Client
- PPS Server
- TCP CPS Client
- TCP CPS Server
- UDP FPS Client
- UDP FPS Server
- TCP Instantaneous Latency (First Byte)
- TCP Instantaneous latency (Last Byte)
- TCP Instantaneous Latency (Connections)
- TCP average latency (общее для плагина в мс.)
- UDP average latency (общее для плагина в мс.)
## Метрики для плагина: Телемост
- Audio RTP PPS
- Client
- Server
- Audio RTP BPS
- Client
- Server
- Audio MOS Average (в "баллах" 1-5, график)
- Audio MOS Distribution (гистрограмма)
- Кол-во событий в диапазоне 4.0-5.0
- Кол-во событий в диапазоне 3.5-4.0
- Кол-во событий в диапазоне 3.0-3.5
- Кол-во событий в диапазоне 2.0-3.0
- Кол-во событий в диапазоне 1.0-2.0
- Audio Delay Variation Jitter Average (us, график)
- Audio Delay Variation Jitter Distribution (гистрограмма)
- Audio RTP Packets With Delay Variation Jitter Up To 1ms
- Audio RTP Packets With Delay Variation Jitter Up To 3ms
- Audio RTP Packets With Delay Variation Jitter Up To 5ms
- Audio RTP Packets With Delay Variation Jitter Up To 10ms
- Audio RTP Packets With Delay Variation Jitter Up To 20ms
- Audio RTP Packets With Delay Variation Jitter Up To 40ms
- Audio RTP Packets With Delay Variation Jitter More Than 40ms
- Audio RTP Packet Loss Distribution
- Audio RTP Consecutive Lost of 1 Packet Sequences
- Audio RTP Consecutive Lost of 2 or 3 Packets Sequences
- Audio RTP Consecutive Lost of 4 to 5 Packets Sequences
- Audio RTP Consecutive Lost of 6 to 10 Packets Sequences
- Audio RTP Consecutive Lost of 11 or More Packets Sequences
- Video RTP PPS
- Client
- Server
- Video RTP BPS
- Client
- Server
- Video Stream Quality (в "баллах" 1-5, график)
- Video Stream Quality Distribution (гистрограмма)
- Кол-во событий в диапазоне 4.0-5.0
- Кол-во событий в диапазоне 3.5-4.0
- Кол-во событий в диапазоне 3.0-3.5
- Кол-во событий в диапазоне 2.0-3.0
- Кол-во событий в диапазоне 1.0-2.0
- Video Delay Variation Jitter Average (us, график)
- Video Delay Variation Jitter Distribution (гистрограмма)
- Video RTP Packets With Delay Variation Jitter Up To 1ms
- Video RTP Packets With Delay Variation Jitter Up To 3ms
- Video RTP Packets With Delay Variation Jitter Up To 5ms
- Video RTP Packets With Delay Variation Jitter Up To 10ms
- Video RTP Packets With Delay Variation Jitter Up To 20ms
- Video RTP Packets With Delay Variation Jitter Up To 40ms
- Video RTP Packets With Delay Variation Jitter More Than 40ms
- Video RTP Packet Loss Distribution
- Video RTP Consecutive Lost of 1 Packet Sequences
- Video RTP Consecutive Lost of 2 or 3 Packets Sequences
- Video RTP Consecutive Lost of 4 to 5 Packets Sequences
- Video RTP Consecutive Lost of 6 to 10 Packets Sequences
- Video RTP Consecutive Lost of 11 or More Packets Sequences
## Метрики для плагина: GTA SA-MP
- UDP Player Latency (график, в мс.)
## Метрики для TLS:
- TLS handshakes (график)
- Client (сколько отправлено)
- Server (сколько получено и установлено)
- Average TLS handshake time (средний в мс, график)
## Метрики для HTTP:
- HTTP requests per second (график)
- Client Sent (сколько отправлено)
- Server Received (сколько получено)
- Server Sent (сколько отвечено на отправление)
- Client Received (сколько получено отправленных ответов от сервера)