Много чего может быть: Сколько косточек в скелете? Сколько поликов в меше? По скольки костям твигаются точки (1-2-4)? Привязан ли на кость какой нить коллайдер без ригидбоди?
Во первых, ФПС "в ноорме" это странно. А во вторых, поставь аккуратность анимации меньше. Если у тебя чересчур высокополигональная модель, то она у тебя конечно же будет тормозить (предел полигонов 65535 штук, далее Юнити начинает делить обьект).