А вы с ним спокойно разговариваете или кричите? Может он вампир и тянет энергию? В скандале проще всего подзарядиться. Вспомните свое состояние после общения с ним? Сонливость была? Это конечно кажется бредом, но вы наверное проще остальных соседей отдаете энергию и от мужчин запросто можно и по щщам получить, дядька гниль и трус, сейчас таких полно. Как бороться - не знаю, это уже похоже системное явление - нахамить женщине, и еще немного - станет достоинством.