Zijn precieze geboortedag staat niet vast, vermoedelijk tussen 10 en 12 oktober in het jaar 1713 in het bij Weimar gelegen plaatsje Buttelstedt. Zijn vader Johann Tobias was organist en cantor sinds 1710 in Weimar. Die zal hem ook wel de eerste lessen gegeven hebben. Als zijn moeder overlijdt verkast hij met zijn vader naar Buttstädt, een klein stadje, ook in Thüringen, die daar als organist een aanstelling krijgt. In 1726 wordt de jonge Krebs leerling van de Thomasschule in Leipzig, waar hij les krijgt van de grote Bach. Hij raakt ook met hem bevriend en ontvangt privé les orgel en hem behulpzaam is bij het kopiëren van diens muziek. Hij zingt eveneens in het koor van de school en bespeelt tevens de luit,de klavecimbel en de viool. Op 24 augustus 1735 ontvangt hij van zijn leermeester en vriend een lovend getuigschrift. Hij studeert nog twee jaar filosofie aan de universiteit van Leipzig alvorens aan de slag te gaan als Domorganist van de Mariakerk te Zwickau. Zwickau is thans de vierde stad in de deelstaat Saksen en zetel van de voormalige Trabantfabrieken. In Zwickau werd Robert Schumann geboren. In de Middeleeuwen komt de stad tot bloei dankzij deelname aan de zilverwinning bij Schneeberg. Onder de prediking van Thomas Münzer – later met zijn boerenopstanden in ongenade gevallen bij Luther – komt Zwickau als een van de eerste steden in lutherse handen. 

Na de dood van Bach probeert Krebs vergeefs diens opvolger te worden. Op 20 oktober 1756 komt hij in dienst van Frederik III van Saksen-Gotha-Altenburg als hoforganist, een functie die hij tot zijn dood op 1 januari 1780 bekleedt. Hij laat zeven kinderen achter, waarvan zijn drie zonen allen als muzikant hun levensvervulling vinden. Krebs werk wordt in de 20e eeuw herontdekt. Hij schreef veel voor orgel, maar ook voor zang en andere instrumenten, zoals het guitarconcerto in G major. Een aantal werken werden ten onrechte heel lang toegeschreven aan zijn grote leermeester. Zijn werk kenmerkt zich door een combinatie van laat-Barok en de stijl kenmerkend voor Noord-Duitse componisten als Carl Philipp Emanuel Bach, een stijl die de overgang vormt naar de Weense klassieken.