Арифметика потоковых архиваторов.

[dememax]

Вторая часть: https://dememax.dreamwidth.org/163615.html

К сожалению, не для всех интуитивно понятно, что потоковые архиваторы не такие уж и крутые в плане сжатия, что можно сжимать ещё лучше, что есть ещё "место подвигу".
Недавно был в гостях у itman, где один из гостей был удивлён этой мыслью (не знаю, насколько серьёзно).
А доказать сей факт очень просто в комнатных условиях подручными средствами.
И так, нам понадобится:

• ваш любимый архиватор
• файл, который после сжатия вашим архиватором > 3Mb
• любой метод, который позволяет объединять файлы в любой последовательности, записывая результат в отдельный файл
• любой метод, который позволяет просматривать размеры файлов

Возьмём файл А. Архивируем его.
Теперь из исходного файла делаем второй, который образует последовательность А-А, и архивируем его.
По размерам архивированных файлов А и А-А вы легко сделаете вывод, что архиватор не увидел в силу ограниченности своего словаря, что содержимое файла А встречается в потоке А-А два раза.

Мой пример на моём компьютере в цифрах:

файл	исходный размер, байт	bzip2 -9	gzip -9	rar a -m5 -md4096
А	8677260 (x2=17354520)	3535871 (x2=7071742)	3639236 (x2=7278472)	3034022 (x2=6068044)
А-А	17354520	7098514	7279949	6003159

Обратные ссылки: http://v-shabanoff.livejournal.com/13612.html
Дайджест всего блога '11

Comments

[dememax]

Ты этому парню кинь ссылочку, если не трудно... Может, его позабавит.

Вообще, "интуитивно понятно" - для обывателя и профессионала иногда настолько разные вещи, что мама не горюй.

[itman.livejournal.com]

Я уж даже не помню точно кому нужно кидать. Есть, на самом деле, некое более общее утверждение. Вообще, Computer Science и программирования вещи сильно параллельные. Далеко не всегда в жизни используются самые продвинутые алгоритмы. Это обусловлено несколькими причинами:
1) Сложность реализациии
2) Совместимость: напр, там, где использовались потоковые архиваторы не получится использовать архиватор, которые составляется полный словарь
3) В простых случаях сложный алгоритм не дает никакого выигрыша. Есть приложения, где 90% случаев простых. В результате, сложность реализации не оправдывает копеечного выигрыша.

Добавлю...

[dememax]

4) Нужно лет 15 чтобы новое продвинутое достигло распространения.

Если смотреть с твоего места, то тот человек сидел по правую руку в самом конце стала, практически на углу, рядом с твоей мамой.

Re: Добавлю...

[itman.livejournal.com]

Я уже не помню, кто и где сидел. Могу тебе прислать фотографии для опознания :-)
5) Через 15 лет новое и продвинутое, внедренное в производство, устаревает и появляется что-то еще более новое и еще более продвинутое :-)