Автор Тема: Расширенный тест на производительность.  (Прочитано 105964 раз)

Geniepro

  • Hero Member
  • *****
  • Сообщений: 1955
  • Знайте- истина в том, что повторено трижды подряд!
    • Просмотр профиля
Re: Расширенный тест на производительность.
« Ответ #180 : Декабрь 15, 2016, 09:43:21 am »
Предлагаю добавить в тесты файлы с нестандартными размерами, например 119 946 308 байт или 163 840 004 байт (достаточно большое простое число, умноженное на 4). Идея в том, что бы файл не делился на блоки равных размеров -- это может выявить ошибки в алгоритмах сортировки.
Особенно интересно в этом плане число 163 840 004 -- это 4*(80^4+1)...
to iterate is human, to recurse, divine

Салат «рекурсия»: помидоры, огурцы, салат…

valexey_u

  • Hero Member
  • *****
  • Сообщений: 3013
    • Просмотр профиля
Re: Расширенный тест на производительность.
« Ответ #181 : Декабрь 15, 2016, 10:45:17 am »
А почему mege_rs не попал в тесты?
Потому что я криворукий рукожоп. Скоро будут результаты с merge_rs.
Y = λf.(λx.f (x x)) (λx.f (x x))

trurl

  • Full Member
  • ***
  • Сообщений: 133
    • Просмотр профиля
Re: Расширенный тест на производительность.
« Ответ #182 : Декабрь 15, 2016, 11:48:36 am »
Предлагаю добавить в тесты файлы с нестандартными размерами, например 119 946 308 байт или 163 840 004 байт (достаточно большое простое число, умноженное на 4). Идея в том, что бы файл не делился на блоки равных размеров -- это может выявить ошибки в алгоритмах сортировки.
Да вроде никто не делит на равные блоки.

trurl

  • Full Member
  • ***
  • Сообщений: 133
    • Просмотр профиля
Re: Расширенный тест на производительность.
« Ответ #183 : Декабрь 15, 2016, 11:54:56 am »
Смотрю на SSD ввод/вывод намного дешевле, чем на HDD. Эффект от сжатия слабее.

valexey_u

  • Hero Member
  • *****
  • Сообщений: 3013
    • Просмотр профиля
Re: Расширенный тест на производительность.
« Ответ #184 : Декабрь 15, 2016, 03:39:04 pm »
Прогон готов. На этот раз что-то сервер подтормозил и почти все алгоитмы отработали медленней процентов на 10-20.
Y = λf.(λx.f (x x)) (λx.f (x x))

valexey_u

  • Hero Member
  • *****
  • Сообщений: 3013
    • Просмотр профиля
Re: Расширенный тест на производительность.
« Ответ #185 : Декабрь 15, 2016, 08:45:39 pm »
Не удается запустить aos на серваке :-/ Не хочет.

Пишет, что Unix.Dlopen: loading library libc.so.6 failed а затем не вылетает и не выходит, а зацикливается со 100% загрузкой CPU.

Причем если удалить 32битную libc.so.6 то aos начинает вылетать с вот такой ошибкой:
./oberon: error while loading shared libraries: libc.so.6: cannot open shared object file: No such file or directory

Т.е. оно после диагностики работу прекращает, не зацикливается. А если вернуть либу назад, то см. начало мессаги.

Но ничего-ничего, будет и на стороне aos праздник, когда запустим тесты на 32битной машине :-) Так что решение всё равно нужно!
Y = λf.(λx.f (x x)) (λx.f (x x))

valexey_u

  • Hero Member
  • *****
  • Сообщений: 3013
    • Просмотр профиля
Re: Расширенный тест на производительность.
« Ответ #186 : Декабрь 15, 2016, 08:46:36 pm »
Да, сейчас сервак перезагрузится, и я запущу полный прогон тестов.
Y = λf.(λx.f (x x)) (λx.f (x x))

kkkk

  • Full Member
  • ***
  • Сообщений: 135
    • Просмотр профиля
Re: Расширенный тест на производительность.
« Ответ #187 : Декабрь 16, 2016, 12:38:27 pm »
Смотрю на SSD ввод/вывод намного дешевле, чем на HDD. Эффект от сжатия слабее.
Идея, в целом, верная, но не доведена до конца. Если увеличить до упора размер входного буфера, это может изменить расклад.

trurl

  • Full Member
  • ***
  • Сообщений: 133
    • Просмотр профиля
Re: Расширенный тест на производительность.
« Ответ #188 : Декабрь 16, 2016, 04:29:15 pm »
Да там особенно и увеличивать некуда, уже 100MB.
Интересно ещё, у меня merge_rs почти вдвое быстрее, чем merge_qs, а здесь немного медленнее.

kkkk

  • Full Member
  • ***
  • Сообщений: 135
    • Просмотр профиля
Re: Расширенный тест на производительность.
« Ответ #189 : Декабрь 16, 2016, 05:24:33 pm »
Да, я не обратил внимание, что длина указана для массива 32 разрядных чисел, а не для байт. Тогда странно, что сортировка не самая быстрая, возможно, что это слабость компилятора или недочёт в библиотеках.
Поразрядная сортировка работает быстрей быстрой, поэтому на закэшированных файлах оказывается лучше, но из-за удвоенных требований по памяти приводит к увеличению временных файлов, что, по видимому, и приводит к перевесу быстрой в условиях ограниченной памяти.

trurl

  • Full Member
  • ***
  • Сообщений: 133
    • Просмотр профиля
Re: Расширенный тест на производительность.
« Ответ #190 : Декабрь 16, 2016, 05:52:45 pm »
Тогда странно, что сортировка не самая быстрая, возможно, что это слабость компилятора или недочёт в библиотеках.
Самая быстрая ( 256-buckets) - сортировка подсчетом. Там, правда, есть недостаток. На файлах от 8ГБ уже может возникнуть переполнение счетчиков, а если увеличить разрядность до 64 бит, они не влезут в ограничения.

valexey_u

  • Hero Member
  • *****
  • Сообщений: 3013
    • Просмотр профиля
Re: Расширенный тест на производительность.
« Ответ #191 : Декабрь 17, 2016, 04:44:03 pm »
Доступны новые, довольно странные результаты :-)
Y = λf.(λx.f (x x)) (λx.f (x x))

Geniepro

  • Hero Member
  • *****
  • Сообщений: 1955
  • Знайте- истина в том, что повторено трижды подряд!
    • Просмотр профиля
Re: Расширенный тест на производительность.
« Ответ #192 : Декабрь 17, 2016, 04:51:28 pm »
Ну, мы уже знаем, в чём причина таких результатов -- в чьей-то криворукости )))
to iterate is human, to recurse, divine

Салат «рекурсия»: помидоры, огурцы, салат…

valexey_u

  • Hero Member
  • *****
  • Сообщений: 3013
    • Просмотр профиля
Re: Расширенный тест на производительность.
« Ответ #193 : Декабрь 17, 2016, 05:27:48 pm »
Ну, мы уже знаем, в чём причина таких результатов -- в чьей-то криворукости )))
При том, что ничего не менялось (кроме добавления нового файла, ога), то возможно на этот раз криворукость уже не моя ;-)
Y = λf.(λx.f (x x)) (λx.f (x x))

trurl

  • Full Member
  • ***
  • Сообщений: 133
    • Просмотр профиля
Re: Расширенный тест на производительность.
« Ответ #194 : Декабрь 17, 2016, 08:46:47 pm »
А сколько занимает копирование файла?