Генератор демобазы — анализируем снимки pg_profile

PostgreSQLРанее мы установили pg_profile с дополнительными расширениями, собрали два отчёта для эксперимента с генератором демобазы. Настало время проанализировать разделы этих отчётов.

Напомню что было два эксперимента. Я установил значение параметра gen.max_hops генератора демобазы в 1, выполнил генерацию на 1 месяц на 12 процессов, потом поменял gen.max_hops в 10 и повторил. Соответственно, получилось два снимка — для max_hops = 1 и max_hops = 10.

Напомню что описание разделов отчёта pg_profile можно и нужно прочитать в официальной документации на гитхаб: Sections of a report.

Оглавление:

Итак — поехали!

1. Server statistics → Database statistics

1. h10. Database statistics
1. h1. Database statistics
1. h10. Database statistics
1. h10. Database statistics

Данные из этого раздела получены из представления pg_stat_database. Часть этих чисел мы уже смотрели в эксперименте со статистическими представлениями.

Посмотрим на Block statistics → Read и Hit. Во втором случае их стал больше, причём Hit увеличился чуть ли не на 10 процентов!

Алгоритм усложнился, это потребовало больше чтений, похоже, но эти чтения удалось выполнить из памяти.

Посмотрим и на Tuples → Ret и Fet (количество возвращенных и извлечённых строк), тут тоже рост. Но давайте, для интереса, посмотрим сколько пришлось извлечь строк (Ret) чтобы получить одну (Fet), ну т. е. Ret/Fet:

hops1:  5751092681/2098417387 = 2,74
hops10: 5829656245/2151244374 = 2,71

Абсолютные цифры больше, но относительное кол-во работы даже немного снизилось.

Размер БД (Size) неожиданно уменьшился, во всех предыдущих экспериментах он рос. Посмотрим на кол-во Ins:

hops1:  4726079
hops10: 4708279

-17800 (-1%)

Меньше вставленных строк — меньше размер, хотя отличие крошечное 🙂

2. Server statistics → Cluster I/O statistics

2. h1. Cluster IO statistics
2. h1. Cluster IO statistics
2. h10. Cluster IO statistics
2. h10. Cluster IO statistics

Когда мы рассматривали pg_stat_io, мы обратили внимание на:

«работу обслуживающих процессов (backend_type = ‘client backend’) для постоянных таблиц (object = ‘relation’) и стандартного контекста операций ввода-вывода (context = ‘normal’).»

В pg_profile, в разделе Cluster I/O statistics посмотрим туда же — Writes → Count в этот раз уменьшился:

hops1:  1038111
hops10: 1030356

-7755 (-1%)

В прошлый раз было почти плюс 31 тысячу. Текущее уменьшение count опять вызывано уменьшением добавленных/обновлённых строк. Но надо напомнить что Writes → Count — это сколько страниц клиентский процесс сам сбросил на диск. Это число будет зависить ещё и от активности/настроек bgwriter’a, до него мы ещё доберёмся.

А в этом разделе ещё посмотрим на Reads → Count

hops1: 5112593
hops10: 5136787

+24194 (^1%)

Небольшой рост, выше мы уже видели, что чтений из общего буфера (Hit) было больше, но немного чтений с диска пришлсь сделать дополнительно.

И ещё один момент — связь с ранее рассмотренным столбцом Database statistics → Block statistics → Hit (показывает когда любые процессы в данной БД попадают в память при чтении) и текущим разделом Cluster I/O statistics → Hits (при данном фильтре показывает когда клиентские сессии обращаются к таблицам и попадают в память):

hops1 → Hit:  1244079238
hops1 → Hits: 1244010487

hops10 → Hit:  1371513511
hops10 → Hits: 1371418823

Почти не отличаются! Т.е. в момент эксперимента у нас в базе только эта нагрузка и велась — другие процессы не вмешивались.

3. Server statistics → Statement statistics by database

3. h1. Statement statistics by database
3. h1. Statement statistics by database
3. h10. Statement statistics by database
3. h10. Statement statistics by database

Суммы значений из представления pg_stat_statements, т. е. это уже статистика запросов.

Посмотрим на Time (s) → Exec (время выполнения запросов, сумма total_time или total_exec_time из pg_stat_statements):

hops1:  20853.75
hops10: 21037.4

+183,65 (^1%)

Гигантский рост в один процент! Получается что при max_hops = 10 запросы работают столько же, сколько и при max_hops = 1.

И посмотрим на Fetched (blk) → Shared (общее число чтений страниц — сумма shared_blks_read + shared_blks_hit из вышеназванного представления):

hops1:  5567134683
hops10: 6457290738

+890156055 (^16%)

И ещё придётся посмотреть на следующий столбец Read (blk) → Shared (в документации не нашёл этого пункта, но, надеюсь, это shared_blks_read из представления — чтения с диска):

hops1:  25464330
hops10: 25583096

+118766 (^1%)

Снова рост на один процент — т. е. с диска чтений не добавилось.

Так что запросы стали читать больше на 16 процентов данных (и почти не увеличились чтения с диска), продолжаем подтверждать то, что уже видели — второй эксперимент активнее читает из общей памяти. При этом время выполнения осталось таким же, пока памяти хватает — всё хорошо (не тратим время на чтения с диска).

4. Cluster statistics

4. h1. Cluster statistics
4. h1. Cluster statistics
4. h10. Cluster statistics
4. h10. Cluster statistics

Конкретно два рассмотренных поля берутся из pg_stat_bgwriter.

Тут я буду без конкретных цифр. Просто хочу чтобы вы обратили внимание на:

  • Background buffers written — почти не изменились значения;
  • Bgwriter interrupts (too many buffers) — значения идентичны.

Можно сделать вывод что процесс фоновой записи (bgwriter) не стал записывать больше данных на диск. А если вспомнить Cluster I/O statistics → Writes → Count (т. е. обслуживающие клиентские процессы тоже не особо много скидывал на диск), то дополнительная работа при max_hops = 10 с работой с диском не связана.

5. SQL query statistics → Top SQL by execution time

5. h1. Top SQL by execution time
5. h1. Top SQL by execution time
5. h10. Top SQL by execution time
5. h10. Top SQL by execution time

Данные опять из представления pg_stat_statements, т. е. это уже статистика запросов (почти весь раздел SQL query statistics оттуда данные берёт).

В моих экспериментах со статистическими представлениями я отфильтровал информацию только по некоторым запросам, в Top SQL by execution time конечно-же можно увидеть и побольше информации. Но самые нагруженные процедуры я в тот раз всё-же увидел.

Опять буду без цифр. Время выполнения этих подпрограмм не изменилось (Exec). И видно что никакие дополнительные процедуры-функции не появились, т. е. для max_hops = 10 источники нагрузки остались такими же.

6. SQL query statistics → Top SQL by I/O wait time

6. h1. Top SQL by IO wait time
6. h1. Top SQL by IO wait time
6. h10. Top SQL by IO wait time
6. h10. Top SQL by IO wait time

Данные тоже из представления pg_stat_statements.

И снова без цифр. Время ввода-вывода (IO(s), R(s), W(s)) немного сократилось, хотя количество блоков, прочитанных запросом — немного увеличилось (Reads → Shr). Никаких новых ожиданий не появилось, всё стабильно.

7. SQL query statistics → Top SQL by shared blocks fetched

7. h1. Top SQL by shared blocks fetched
7. h1. Top SQL by shared blocks fetched
7. h10. Top SQL by shared blocks fetched
7. h10. Top SQL by shared blocks fetched

Данные тоже из представления pg_stat_statements.

Тут уже, наконец-то, посмотрим цифры — на blks fetched (количество полученных блоков), возьмём сумму топ-три запроса:

hops1: 3332708747
hops10: 3877129978

+544421231 (^16%)

Рост 16%. Нечто похожее уже видел выше — рост обработки данных, почти вся эта работы была проведена в оперативной памяти. А вот остальные окружающие цифры почти не меняются.

8. User function statistics → Top functions by total time

8. h1. Top functions by total time
8. h1. Top functions by total time
8. h10. Top functions by total time
8. h10. Top functions by total time

А данные для этого раздела берутся из pg_stat_user_functions (я его не использовал в своём эксперименте, у меня тогда не получилось — не дождался выполнения всех подпрограмм, но данные эти получить можно).

В подтверждение слов выше — посмотрим на топ подпрограмм по времени. Опять без цифр, там рост около одного процента. Можно чуть внимательнее посмотреть на Time (s) → Total и Self. Self — это время на выполнение кода непосредственно указанной подпрограммы (без суммирования вложенных). Для process_queue self-время даже меньше стало.

9. Server statistics → Wait sampling

9. h1. Wait sampling
9. h1. Wait sampling
9. h10. Wait sampling
9. h10. Wait sampling

Тут несколько таблиц, посмотрим на Top wait events (statements).

Здесь данные предоставленные расширением pg_wait_sampling — не зря же мы его устанавливали!

Тут посмотрим на два события ожидания: On CPU и DataFileRead:

On CPU:

hops1:  4636.61
hops10: 4669.8

+33,19 (^1%)

DataFileRead:

hops1:  19.26
hops10: 17.49

-1,77 (9.2%)

Опять те же проценты роста — один процент роста на CPU. А ожидание DataFileRead (каюсь, не читал что оно означает, но ощущаю что это чтение файлов — как раз чтение файлов данных на диске) даже уменьшилось почти на десять процентов!

10. SQL query statistics → Rusage statistics

10. h1. Rusage statistics
10. h1. Rusage statistics
10. h10. Rusage statistics
10. h10. Rusage statistics

А тут посмотрим на результат работы расширения pg_stat_kcache.

Первая строчка — profile.take_sample(). И занимает выполнение этой функции более 80 процентов User Time! А ещё в отчёте же есть SELECT busy() — около двух процентов ещё.

Краткий итог

А я могу только повторить те выводы, которые были сделаны в моих экспериментах со статистическими представлениями (ну а что могло поменяться? эксперимент-то тот же):

«Изменение параметров генератора (gen.max_hops от 1 до 10) не привносят какого-то усложнения в расчёты.

Однако, если увеличить gen.max_hops до 10 — то postgres начинает больше обрабатывать страниц в памяти (рост pg_stat_statements.shared_blks_hit, я это тут не рассматривал). Эти страницы надо обрабатывать, поэтому-то процессор больше времени на это тратит, а не на сложные вычисления.»

На примере вышеуказанных (и не только) разделов pg_profile мы увидели что количество выполнений подпрограмм и их время почти не выросло, зато выросло количество обращений к страницам (Fetched (blk) → Shared). Мы посмотрели что чтений страниц с диска тоже почти не увеличилось (Read (blk) → Shared), а это означает что все чтения были выполнены из оперативной памяти.

А если поглядим на дополнительную информацию от pg_wait_sampling — то будет ещё круче:

Server statistics → Statement statistics by database:
~21 000 секунд

Server statistics → Wait sampling → DataFileRead:
~19 секунд

Если я всё правильно понял, то из 21 тысячи суммарных секунд (это на все процессы, а не реальное время) пришлось лишь 19 секунд на чтение файлов что в первом, что во втором вариантах. Так что все дополнительные чтения были в памяти.

В целом, в данной статье анализ отчётов pg_profile был осуществлён с одной целью — посмотреть разделы pg_profile, «потрогать» их руками на примере генератора демобазы. Особенно было интересно проводить параллели между разделами отчёта и теми статистическими представлениями, которые я ранее смотрел.

Дифференциальный отчёт get_diffreport будет рассмотрен в следующий раз.


Be the first to comment

Leave a Reply

Ваш Mail не будет опубликован.


*