É ISSO QUE VOCE NÃO ENTENDE...

Sabe, moço

  Não me importo com quem você esteve no final de semana

Não me importo com quem você irá jantar hoje, amanhã ...

... ou depois de amanhã.

Importo-me, sim, com quem você não esteve

e com quem não irá jantar, ou seja ...

... comigo!