稲垣吾郎、「SMAPの中で僕が一番怒られた…」ジャニーさんとの別れを惜しむ