Обнаружил странный баг.
Каждый terrain на сцене занимает некоторое количество RenderTextures в видеопамяти. Причем отнимает постоянно, вне зависимости от видимости, удаления terrain-а от камеры. Лечится простым отключением terrain компонента.
Но несколько активных невидимых террейнов уже заметно влияют на производительность.