Все молчат, и никто ничего не знает, ни на русских ни на англоязычных форумах. В общем проблема в самом Имнпут менеджере юнити, он кривой и багованный, и обойти это никак нельзя. Единственный способ это вырубить его, и подключить какой нибудь другой. Я нашел пока одно единственное решение здесь:
https://forum.unity.com/threads/input-s ... ks.903905/ но оно для версий старше 2019.1. которые сами по себе кривые и багованные ещё круче чем предыдущий инпут менеджер. Вернее как, на винде всё нормально. А вот на других операционках (в моём случае MacOS Hight Sierra), эти версии сыпят ошибками сборщика прямо из коробки. В 2018 такого поведения не замечал.
И да, теряло оно не рандомно, а если зажато более 1 клавиши. Причём если даже они у вас не прописаны в коде, то всеравно юнити их перехватывает и всё ломает.