в быту часто можно услышить выражение Не действуй мне на нервы насколько правомерна такая формулировка

думаю, что она вообще не корректна. поскольку, это может ущемлять собственные права человека. Это можно отнести как к навязанию своего мнение, действие на психику, т.д.
надеюсь, ты понял;)