From 72c4dbc1e62cc5eb91fc319f2a19eb5c0c7f3f91 Mon Sep 17 00:00:00 2001 From: Daniil Bobryshev Date: Mon, 3 Jun 2024 09:22:52 +0000 Subject: [PATCH] Update metrics-core.md --- metrics-core.md | 100 ++++++++++++++++++++++++++++++++++++++++++------ 1 file changed, 89 insertions(+), 11 deletions(-) diff --git a/metrics-core.md b/metrics-core.md index 51da485..b0978d1 100644 --- a/metrics-core.md +++ b/metrics-core.md @@ -4,21 +4,99 @@ - Основные метрики заполняемые по сумме всех активных плагинов (тестов) - Метрики на плагин. Плагином является конкретный тип теста, например, при тестировании Телемоста в отчете о задании появляются дополнительные метрики. +- То-есть Телемост = 1 плагин, GTA SA-MP = 1 плагин. В 1 задании может быть много плагинов +- Метрики записываются в collectd каждые 10 секунд (должно быть переменной), из collectd данные по умолчанию будут уходить в Graphite, например как тут: https://docs.dosgate.com/dosgate_install/#51-collectd ## Основные метрики -- Throughput (bits per second) -- Throughput (packets per second) -- TCP CPS (tcp protocol connections per second) -- UDP FPS (udp protocol flows per second) -- Active Plugins (кол-во активных плагинов для теста и успешности их работы в сети **(что есть успешность их работы требуется определить)**): Plugins Initiated, Plugins Succeed, Plugins Failed -- Simulated Users (общее кол-во пользователей которое эмулируется, если применимо для тестов) + распределение по applications, в % и кол-ве -- TCP Instantaneous Latency: Average Time to First Byte, Max Time to First Byte, Min Time to First Byte -- TCP Instantaneous Latency: Average Time to Last Byte, Max Time to Last Byte, Min Time to Last Byte -- TCP Instantaneous Latency: Average Connection Latency -- TCP average latency (для всех приложений в мс.) -- UDP average latency (для всех приложений в мс.) +- Total Throughput BPS (bits per second, график) + - Client (сколько направлено) + - Server (сколько получено) + +- Total Throughput PPS (packets per second, график) + - Client (сколько направлено) + - Server (сколько получено) + +- Total TCP CPS (tcp protocol connections per second, график) + - Client (сколько попыток установить) + - Server (сколько установлено) + +- Total UDP FPS (udp protocol flows per second, график) + - Client (сколько направлено) + - Server (сколько получено) + +- TCP Instantaneous Latency (First Byte, график) + - Average Time to First Byte + - Max Time to First Byte + - Min Time to First Byte + +- TCP Instantaneous latency (Last Byte, график) + - Average Time to Last Byte + - Max Time to Last Byte + - Min Time to Last Byte + +- TCP Instantaneous Latency (Connections, график) + - Average Connection Latency + +- TCP average latency (общее для всех плагинов в мс, график) +- UDP average latency (общее для всех плагинов в мс, график) + +- Active Plugins (кол-во активных плагинов для теста и успешности их работы в сети, гистограмма): + - Успешность работы определяется тем что трафик плагина получен и клиентом и сервером, если только отправлен клиентом, а сервером не получен (даже частично) — значит initiated, но failed + - Plugins Initiated + - Plugins Succeed + - Plugins Failed + +- Plugin Traffic Distribution (круговые диаграммы) + - Распределение пользователей по plugins (общее кол-во пользователей (если применимо к заданию) которое эмулируется, в %) + - Индивидуальная статистика по каждому plugin (круговые диаграммы или графики): + - BPS Client + - BPS Server + - PPS Client + - PPS Server + - TCP CPS Client + - TCP CPS Server + - UDP FPS Client + - UDP FPS Server + - TCP Instantaneous Latency (First Byte) + - TCP Instantaneous latency (Last Byte) + - TCP Instantaneous Latency (Connections) + - TCP average latency (общее для плагина в мс.) + - UDP average latency (общее для плагина в мс.) ## Метрики для плагина: Телемост +- Audio RTP PPS + - Client + - Server + +- Audio RTP BPS + - Client + - Server + +- Audio MOS Average (1-5, график) + +- Audio MOS Distribution (гистрограмма) + - Кол-во событий в диапазоне 4.0-5.0 + - Кол-во событий в диапазоне 3.5-4.0 + - Кол-во событий в диапазоне 3.0-3.5 + - Кол-во событий в диапазоне 2.0-3.0 + - Кол-во событий в диапазоне 1.0-2.0 + +- Audio Delay Variation Jitter Average (us, график) + +- Audio Delay Variation Jitter Distribution (гистрограмма) + - RTP Packets With Delay Variation Jitter Up To 1ms + - RTP Packets With Delay Variation Jitter Up To 3ms + - RTP Packets With Delay Variation Jitter Up To 5ms + - RTP Packets With Delay Variation Jitter Up To 10ms + - RTP Packets With Delay Variation Jitter Up To 20ms + - RTP Packets With Delay Variation Jitter Up To 40ms + - RTP Packets With Delay Variation Jitter More Than 40ms + +- Audio RTP Packet Loss Distribution + - xxx + +Video ... + ## Метрики для плагина: GTA SA-MP \ No newline at end of file