Karaoke bắt nguồn từ nước Nhật, Karaoke là 1 từ ghép trong tiếng Nhật. Kara được lấy từ chữ karappo có nghĩa là trống rỗng, và oke là viết tắt của chữ okesutura có nghĩa là giàn nhạc (orchestra).

Thông thường 1 bài hát được ghi âm bao gồm người hát và nhạc đệm. Các băng nhạc trong đó chỉ có nhạc đệm mà không có người hát được gọi là karaoke (giàn nhạc không người hát). Karaoke được nhiều người xác nhận là bắt nguồn từ quán bar ở Kobe, Nhật Bản, cách đây khỏang hơn 20 năm.

Người ta nói rằng, có 1 nhạc công guitar đêm bị ốm đột ngột, không thể đến biểu diễn được. Chủ quán bar không tìm được người thay thế nên đã nghĩ ra cách cho các ca sĨ hát theo nhạc đệm của băng ghi âm. Buổi biểu diễn thành công và ý tưởng hát theo nhạc đệm của băng ghi âm - karaoke - bắt đầu từ đó.
Mặc dù đây chỉ là 1 câu chuyện mang tính truyền miệng trong dân gian, nhưng có thể đây chính là sự bắt đầu của karaoke.