Физике подчиняются объекты с компонентами rigidbody или cloth. Столкновения обеспечивают коллайдеры. Удалите у объектов вашей игры rigidbody и физика вас не побеспокоит. Но функции OnCollisionEnter, OnCollisionExit и OnCollisionStay тоже работать перестанут.
Я повторюсь, но советую не удалять Rigidbody, а ставить isKinematic. Это обеспечивает чуть большую совместимость с другими коллайдерами (см. таблицу в Physics) и вроде бы при таком раскладе перемещаемый объект ведёт себя лучше и жрёт меньше ресурсов (мол, static collider (то есть, коллайдер без ригидбоди) не предназначен для перемещения).