Запомните эта LayerMask.NameToLayer возвращает ИНДЕКС слоя.
Что бы получить нормальную маску которою можно использовать надо сделать еще:
- Код: Выделить всё
LayerMask layer = 1 << LayerMask.NameToLayer("Enviroment");
если вы хотите получить пересечение только с окружением.
Удачных вам коллизий!