Al principio Rice fue el cantante de Juniper, una banda de rock que llegó a lanzar los singles "The World Is Dead" y "Weatherman". El día anterior a la grabación de su primer álbum en 1999, Rice no estuvo de acuerdo con la dirección comercial que estaba tomando el disco, debido a la presión de la discográfica Polygram, y tomó la decisión de abandonar el grupo. Sus compañeros de Juniper se convirtieron en Bell X1. Él se trasladó a la Italia rural, donde tocó la guitarra acústica, escribió canciones y recorrió Europa hasta que fue capaz de formar un grupo y tocar pequeños conciertos en cafeterías del área de Dublín. Gracias a su primo en segundo grado, David Arnold, Rice pudo grabar "O", su primer disco, por el que ganó varios premios. Otros miembros del grupo son: Lisa Hannigan, como cantante (que ocasionalmente toca guitarra y bajo), Vyvienne Long, que toca el cello, el percusionista Tom Osander y el bajista Shane Fitzsimons.
