Да, но у вас есть волшебный DirectionRay, которому пофиг на стены
Берете любую точку на этом луче и пускаете новый рэйкаст в том же направлении.
То есть в итоге: летел луч, уперся в стену. Узнали точку попадания hit. Добавили к его позиции DirectionRay.normalazed * wallS , таким образом получили точку, которая так же лежит на луче, но на wallS дальше от hit.point относительно нас. Пускаем следующий рейкаст и тд.
DirectionRay.normalazed - нормализованный вектор
wallS - условно говоря толщина стенки,тип float, впринцыпе можно примерно указать.