Тест: Небывалая отзывчивость Linux-системы под нагрузкой (+ пакет Debian Testing)

[mend0za]

Проверяем слухи

Решил лично проверить новости от Linux Kernel-хакеров про Патч sched: automated per tty task groups.

Модифицированный патч от для 2.6.32.x брал тут. Пропатчил штатное ядро Дебиан 2.6.32.x и собрал его в пакет.


Тестовая система
- IBM Thinkpad T42 (Pentium Mobile 1.6MHz, 1GB RAM, Radeon 7500), всё такое однопроцессорное-однопросессорное и старое. Выпуск прибизительно 2005 года.
- Debian 6.0 (Squeeze aka Testing)


Одновременно выполнялись:
- make -j8 в Buildroot (компиляция в 8 параллельных потоков, сборка кросс-компилятора)
- воспроизведение FLAC в Audacious. The Beatles, альбом “A Hard Days Night” (thanx Vics)
- воспроизведение в Youtube (Firefox + Flash 10) - Градский, песня про олимпиаду-2014 в Сочи
- mplayer fullscreen - мультик “Neko No Ongaeshi” - [DIVX] 640x352 24bpp 23.976 fps 1100.6 kbps (134.3 kbyte/s)
- копирование того же мультика на удалённый хост по ssh/scp

Результаты
- load average: 9.11
- переключение между окнами - как будто не запущено НИЧЕГО
- Никаких кваканий в звуке
- никаких задержек при переходах между десктопами и через NoMachines NX.

Да, это действительно работает. Ощущение - у меня новый ноутбук. Насколько мои субьективные оценки скорости зависят от задержек интерфейса и звука, как оказалось.

Update: репозиторий Debian
В /etc/apt/sources.list.d/mend0za.list вписать
deb http://sanker.info/~mend0za/debian ./

Далее:


wget http://sanker.info/~mend0za/mend0za.asc
cat mend0za.asc|sudo apt-key add -

sudo aptitude update
sudo aptitude install linux-image-2.6.32-lowlatency

sudo update-initramfs -k 2.6.32-lowlatency -c
sudo update-grub2


Примечание - c 2009 года initrd само не создаётся в системе установленной по умолчанию. Две последние строки - чтобы ядро гарантированно загрузилось.

В репозитории ещё есть пару полезняшек - logjam посвежее, midori последний и audacious 1.4.

Comments

[lazyest.livejournal.com]

А я на ўбунце вырашыў дачакацца мэйнстрымавай падтрымкі (8 А на дэсктопе ў мяне 4 ядры, дык не заўважаў ані разу каб што тармазіла.

[kiryl.livejournal.com]

Я не понимаю, зачем эту "сенсацию" из пальца высосали. group scheduling был давно, и организовать его можно проще, без хаков в ядре. См. cgroup'ы.

[mend0za.livejournal.com]

Коллега
1. Систематическое чтение LKML не является ни моей обязанностью по работе, ни хобби.
2. Собирание сведений о появляющихся и пропадающих подсистемах в ядре и чтение многокилометровых Changelog - тоже не относится к тому что я успеваю делать.
3. Если сделали что-то, что мне лично сильно облегчило жизнь - я буду благодарен этим людям, вне зависимости от "академической ценности" и "теоретического величия" их работы.
4. Этот патч серьёзно облегчил мне жизнь.

Привет снобам.

[x-a-e-p.livejournal.com]

Я поленился пересобирать ядро и таки дождался пока кто-нибудь напишет рецепт для настройки cgroups - http://los-t.livejournal.com/24553.html. В принципе, результат тот же

[mend0za.livejournal.com]

Что-то похожее было в рецептах на Opennet, их я тоже изучал. Но мне интуитивно проще оказалось пропатчить ядро.

[alex-butenko.livejournal.com]

офигеть. Тобишь ядро пересобирать нынче уже грешно, а вот лишний демон в систему вешать -- это православно?

Вовка, выложи пакет кернела куда для меня любимого :)

[girlshaters.livejournal.com]

И мне, и мне! :)

[mend0za.livejournal.com]

см апдейт

[mend0za.livejournal.com]

см апдейт

[kiryl.livejournal.com]

> 2. Собирание сведений о появляющихся и пропадающих подсистемах в ядре
> и чтение многокилометровых Changelog - тоже не относится к тому что
> я успеваю делать.

О появляющихся и пропадающих подсистемах знать не обязательно. А вот о интерфейсах предоставляемых ядром, иметь представление стоит, если занимаешься системным программированием. Для этого совсем не обязательно читать длинный ченжлог, достаточно научно-популярных изданий типа lwn.net. Интерфейсы из ядра исчезают крайне редко.

[mend0za.livejournal.com]

Я не занимаюсь системным программированием на регулярной основе. Отдельные набеги в ядро не в счёт. Прикладные задачи и интеграция.

А появляющиеся/пропадающие части - моя головная боль. В 2.6.36 AUFS куда-то делся. И UNIONFS тоже. Хотя в дебиановском 2.6.32 оно (AUFS) есть. Для NAS на IOP32x возникла свежая идея как утилизировать 6MB flash.


Я даже заголовки http://linuxdevices.com не успеваю читать.

[max-posedon.livejournal.com]

aufs и unionfs *вроде* никогда небыли в mainline ядре, их дистрибутиво-пакаватели добавляют

[mend0za.livejournal.com]

aufs появлялся в районе ветки -mm и staging

[jek-hor.livejournal.com]

Я вот тоже не в курсе возможностей cgroups. Знаю только, что они есть, и всё.

[kiryl.livejournal.com]

Почитай. Здорово помогают там, где нужена тонкая (или не очень) нарезка ресурсов. А это каждый второй embedded проект.

Ещё советую посмотреть на namespace'ы (man 2 clone). Но это больше про изоляцию, секъюрность и т.п.

[jek-hor.livejournal.com]

Высосали затем, что никто не удосужился до того сделать то же самое, но через эти cgroups.

[d4s.livejournal.com]

http://los-t.livejournal.com/24553.html?view=comments

[jek-hor.livejournal.com]

Дату поста видишь? _После_ ядрёного патча. Да и коряво там, имхо. Надо в тему вкуриться и кошернее сделать.

[pestilentia.livejournal.com]

вкурились уже - http://en.gentoo-wiki.com/wiki/Improve_responsiveness_with_cgroups
имхо, кошернее. опробовал - работает.

[mend0za.livejournal.com]

The above solution only works when resource intensive tasks are started from a shell. It does not help when the application is started from a window manager (terminals within a window manager work, though).

Плюс поддержка CGROUP в CFQ для 2.6.32 ещё не присутствует. Возможно из за этого у меня и других товарищей, пользующихся моей сборкой - наблюдается определённый провал на производительности при борьбе со сложными гуёвыми хреновинами (вроде великого зверя бездны Тормозилла, гнома и xfce).

Т.к. CPU уже регулируется, а I/O ещё нет.

[pestilentia.livejournal.com]

ну да, и там же описаны великие планы по правильной раздаче I/O и hierarchical cgroups, хотя я не совсем догоняю, как это сделать красиво с учетом того, что I/O это бывает в swap и четко не относится к I/O конкретного процесса
у меня, как и в случае с bfs/bfq наблюдается только четкий провал при работе с чем-либо на java

[mend0za.livejournal.com]

своп если вынести на отдельное физическое устройство - то можно разрулить и имеющейся инфраструктурой (как мне кажется).

[d4s.livejournal.com]

http://los-t.livejournal.com/24553.html?view=comments
типа того?

[black-angel-by.livejournal.com]

Это ИМХО правильный хак, задающий правильное поведение системы. А правильное, это когда настройки по дефолту удовлетворяют ~99% пользователей, а оставшийся "нестандарт" уже лезет в статьи и крутит свою пачку мегакрутых настроек. Cgroup-ы были бесполезны, если не лезть ковырять их отдельно, а теперь ковырять не надо, оно просто работает.

[mend0za.livejournal.com]

да коллега, целую ваши стопы
очень правильное мнение

[pestilentia.livejournal.com]

я буквально сегодня тоже бредил точно такой же мыслью - запилить этот патч в ядро нетбука и посмотреть, прыгнет ли он выше крыши, проигрывая 1080p, или не судьба :) хотя, чудес на свете не бывает. но если система будет хотя бы отзывчивей, чем от bfs, будет уже прорыв.

[mend0za.livejournal.com]

Производительность - не увеличивается.
Отзывчивость - вот это для меня важнее.

[pestilentia.livejournal.com]

производительность по идее даже должна немного просесть при прочих равных, как я понимаю. в целом, упомянутый bfs в паре с bfq показывает себя и так неплохо, отзывчивости с большего хватает на все, кроме нескольких реально тяжеловесных жабьих приложений

[girlshaters.livejournal.com]

Большое спасибо, да.
Загрузка системы 8, музыка, видео одновременно, хохо.
У самого не получилось собрать, видимо не судьба :)

[mend0za.livejournal.com]

а вы батенька сноб!

хм

[asocialpsihopat.livejournal.com]

Чот пока не ощущаю разницы.
Переключение с IceWeasel (57 вкладок) на IceDove занимает секнднду-две-три при сборе почты в последнем.

Re: хм

[alex-butenko.livejournal.com]

> Переключение с IceWeasel (57 вкладок)

омг. И как в этом вы умудряетесь что-то найти? :)

Re: хм

[asocialpsihopat.livejournal.com]

Я их просто закрывать не успеваю. (-:

Re: хм

[jek-hor.livejournal.com]

У меня и за сотню, бывает, переваливает :)

Re: хм

[avr-forever.livejournal.com]

у меня за две с половиной :)

[rootpuppet.livejournal.com]

Спасибо за инфо. А как насчет серваков? Почему это только для десктопа?

[mend0za.livejournal.com]

Я не говорю что это только для десктопа. Но в силу своей трудовой деятельности - нигде кроме десктопа не применяю. Соответственно протестировать не на чем.

Плюс применённый мною вариант патча адаптирован под 2.6.32 и не содержит поддержку CGROUPS для I/O шедулера CFQ.

Подумываю взять более свежее ядро и посмотреть как изменится поведение например у сложных гуёв (mozilla).

[mend0za.livejournal.com]

Умозрительно насчёт серверов - под нагрузкой продолжит нормально отвечать ssh.
Перегруз скажем по samba - не будет вызывать отвалы apache по тайм-аутам.

Хотя в применённом мною патче с сетевой частью ещё не докручено - при большой нагрузке мозилла долго ждала пока с соединений сетевых чтото придёт и отваливалась по таймауту.