Откройте документацию на разделе физики и просто почитайте, стараясь понять, что есть что на самом деле.
Сообразите, что такое коллайдер, что такое ригидбоди, как происходит взаимодействие физических тел. Поэкспериментируйте с разными формами, комбинируя и меняя их. Посмотрите, как ведет себя статика, кинематика, динамика. Поэкспериментируйте, перемешивая взаимодействия этих трех типов.
Понавставляйте смену цвета, дебаг-отрисовщиков, гуитекстов и принтов на события, чтоб понимать, когда что срабатывает, а когда нет.
Навеселившись с физикой вы получите представление ее "физики" и сможете уже из предложенных кирпичиков собирать конструкции, которые удовлетворят запросы.
Касаемо случая:
Камера - объект кинетический, потому обязан обладать ригидбодей, чтобы регистрировать свое перемещение в физической среде другими ригидбодями.
Если идти другим путем, из камеры можно пускать лучик до своей цели-привязки и проверять, видима ли цель. Если цель скрыта, приближаем камеру, пока снова ее не увидим. Такой же луч можно пускать от цели в камеру, думаю, чтобы избежать артефактов с прозрачными односторонними стенами.
Блин, даже советов давать не хочется, сам бы сидел и пробовал разные варианты, пока не нашел удовлетворяющее решение. В этом же вся прелесть творчества