Интересные дела, я наконец то нашел причину по которой террайн в моем проекте жутко томозил.
Причина оказалась тривиальной, это скрипт Object2Terrain досконально не копал, но этот скрипт сдирая для террайна геометрию обьекта,
делает судя по всему жутко не оптимально, хотя и точно копирует. Вопрос что с этим делать? Оказалось все проще простого.
Если у вас в процессе лепки или передирания (как в моем случае) получился тяжеленький террайн, но геометрию изменять нежелательно.
Перед тем как начать его красить, Делаем следующее:
1. Снимаем и экспортируем с нашего террайна карту высот RAW (прямо в Unity).
2. Удаляем наш террайн к такой то матери (запомнив его размеры и высоту).
3. Создаем новый террайн, таких же размеров.
5. Импортируем на новый террайн нашу карту высот.
Конкретно в моем случае получилось:
1600 dc > 160dc, 15fps > 150fps.
При макс. настройках все полетело, до этого на средних тормозило. Виват Unity!
Она сама все умеет, решение лежало перед носом, надо было всего лишь ткнуть ее в нужном направлении.