Если никто не подскажет в чем проблема у меня в расчете проекции камеры, то пока решил костылем
Добавил условие для нулевой камеры портала, что если камера игрока находится к порталу ближе чем 0.05 по оси портал.форвард, то изменение проекции камеры не применяем, если дальше, то применяем..
Используется csharp
if (PortalUtils.DistanceByNormalZ(Utils.Utils.MainCamPosition, transform) > 0.05f)
{
Vector4 clipPlane = PortalUtils.CameraSpacePlane(CameraDefault, pos, normal);
Matrix4x4 projection = CameraDefault.CalculateObliqueMatrix(clipPlane);
Cams[i].projectionMatrix = projection;
}
Ну и дальше после Графикс.Блит делаю ресет проекции.. Вродь работает.. А стены на которых можно будет расположить порталы все равно не будут толще 0.25 где-то, да и телепортируемые объекты в шейдере обрезаю в плоскости портала, т.ч. если не будет более изящного варианта, то пусть этот и остается..