Вычисление алгоритма кодирования.

Нет, в общем случае нельзя гарантированно вычислить алгоритм кодирования, имея только исходные данные и их закодированный вид, если нет доступа к самому алгоритму. Это связано с тем, что существует множество различных алгоритмов кодирования, и без знания конкретного алгоритма невозможно однозначно восстановить его только из входных и выходных данных. Метод подбора (brute force) является одним из способов попытки взлома кодирования путем последовательной проверки всех возможных вариантов, но это может быть крайне трудоемким и неэффективным способом в случае сложных алгоритмов или большого пространства поиска. В некоторых случаях, если у вас есть доступ к исходному коду или документации алгоритма кодирования, вы можете попытаться проанализировать его для понимания принципов работы и воссоздания алгоритма. Однако без этой информации задача может быть крайне сложной или даже невозможной.

Например, собрав статистику, можно сделать предположение о сжатии или шифровании.
Вообще мутное дело. Метод брутфорса тоже в общем бесполезен.

Раньше были алгоритмы кодирования оптимальные их было пальцами пересчитать. С развитием техники и скоростей современные алгоритмы не требуют обязательной оптимальности поэтому сегодня количество алгоритмов кодирования зашкаливает. И перебор никак не даëт гарантий его нахождения.

С плавающей байтностью подбери

Алгоритмов кодирования не так уж много.
Сам алгоритм кодирования обычно известен, это нисколько не облегчает декодирование.
То есть знание алгоритма ничего не даст.

я могу например открыто сказать что использую RSA 7168, раскрытие этой информации ничем не грозит, пользуйтесь на здоровье https://www.codref.org/tools/pgp/