Wie gesagt, ist das kleine Springen des Kreuzes um vielleicht 1/2 mm nicht wirklich schlimm und das mit diesem "Schatten" ja auch nicht.
Ich denke, das Dein Problem deshalb entsteht, weil Du die Anpassungen auf das Icon/Image des Buttons legst und nicht auf den Button selbst, verwende doch mal mein CSS und ändere es für Dich passend.