Имеет смысл отключить работу с ними для компонента EventSystem: выделите его на вкладке Hierarchy и на панели Inspector снимите флажок Send Navigation Event.