Greg Bailey ingressou no Petra em Janeiro de 2002, depois de saber através de 
um amigo que essa entrada na banda seria possível. Então, ele foi posteriomente contactado por John Schlitt, participou de uma audição e assim, passou a fazer parte da banda.
Com o Petra, participou dos álbuns Jekyll & Hide, Jekyll & Hide en Español e Farewell, além do single Holy is Your Name, de 2013, quando o Petra anunciou oficialmente o seu retorno.
No álbum Jekyll & Hide, ele escreveu a canção Would’a, Should’a, Could’a juntamente com Bob Hartman. No DVD Farewell, além do baixo, fez backing vocal, e tocou cello durante a canção Acoustic Set.
Durante o tempo em que a banda esteve em pausa, foi o baixista nos convites especiais que a banda recebeu para tocar, e naturalmente o continuou sendo quando foi anunciada a 40th Anniversary Tour, que foi iniciada em 2013.
