Оказалось, что в проекте есть проблемы с потреблением памяти.
После некоторых тестов, выяснилось что текстуры созданные через SetPixels() не уничтожаются при удалении объекта.
Destroy() так же не помог.
В итоге помогла команда
AyncOperation async = Resources.UnloadUnusedAssets();
yield return async;
Если б не приперло, никогда бы не подумал что эта команда работает с чем-то кроме ассетов загружаемых через Resources.Load() (вот назвали, блин).
Теперь осталось проверить не работает ли эта команда 15 минут на эталонной машине)).