Ну собственный слой обьекта точно не выбирать.
Я бы создал новый layer - "Barrier" и поместил в него все препятствия.
А потом в маске галочку на этот слой. Он (райкаст) будет выборочно только на него срабатывать.
Ну раз шарик катиться, надо еще как то с направлением рейкаста разобраться, пустить его строго вперед в направлении движения.