Từ quan hệ ở đây là bổ nghĩa cho the city, mà the city được xem là 1 vật, nên phải dùng which.
Nếu câu này viết đầy đủ sẽ là: London is the city. I have visited it several times.
It ở đây là một tân ngữ, nên ta phải dùng which để thay thế.
Nếu khi dùng where, thì ở câu trên phải có giới từ chỉ nơi chốn để thay thế (in, at, on,...)
P/s: không biết giải thích vậy đúng chưa, nhiều khi mình hiểu mà không biết nói làm sao...