Живой Журнал Максима Дементьева

Исходный пост 2008-го года: https://mpd.livejournal.com/5302.html или https://dememax.dreamwidth.org/4730.html

Отправная мысль проста (в исходном посте это выражено по-другому):

1. Архиватор должен найти повторяющиеся последовательности.
2. А что, если они очень далеко?
3. А что, если очень велики?

Т.к. предложенный метод для простоты оперирует одним файлом, который дублируется, то в нашем случае 2 и 3 — величины одного и того же порядка, рассматривается более конкретный случай.
Производительность и эффективное использование ресурсов (память, процессор, использование всех ядер процессора, место на диске, и т.д., и т.п.) — нас не интересует вообще, исключительно факт сжатия очевидного повторения в исходном потоке.

Размер: в прошлый раз я брал файл 8'677'260 байт, в этот раз (всё ж таки 12 лет прошло!) - 94'883'920 байт (некий ELF 64-bit LSB shared object, x86-64, dynamically linked, stripped).

В результате: получилось определить первый пункт с новым файлом только с помощью zstd.

Теперь подробнее.( Read more... )