Jim Cooper nasceu em Princeton, Indiana.
Cooper, que é cantor e compositor, estudou na Temple Christian Academy, onde residia.
Jim teve seus passos firmados com Jody Davis (que depois passou a tocar guitarra no Newsboys) na banda Phos. Havia também na banda um vocalista com o nome de Gary. Com o fim do Phos o baterista do David and The Giants, Keith Thibodeaux juntou-se ao Phos. Após a dissolução da Phos, Cooper ingressou no Petra, como técnico de teclados para John Lawry. Ele credita Lawry por ser seu mentor e professor. Em 1994, ele firmou-se como tecladista da banda em tempo integral, após a aposentadoria de Lawry.
Sua chegada coincidiu com a época do lançamento de No Doubt em 1995. Ele também contribuiu, em 1997, para o segundo álbum de louvor da banda, Petra Praise II: We Need Jesus, antes de ter sido demitido por diferenças musicais.
Cooper tem trabalhado para diversos outros artistas com suas composições e arranjos musicais. Ele também iniciou abriu uma produtora com o amigo Brian Wooten (fundador do White Heart).
Em 2005, Cooper foi o coordenador do projeto do último álbum do Petra, gravado ao vivo, Farewell.
Em 2007, ele ajudou a produzir o álbum Vertical Expressions, de II Guys from Petra (John Schlitt e Bob Hartman), tocando teclado para eles no álbum.