Au début de 1947, Coltrane joue quelque temps de l'alto avec l'ensemble de King Kolax, puis il se joint au groupe d'Eddie « Cleanhead » Vinson au ténor, dont il joue pour la première fois. Un voyage en Californie avec cet ensemble lui donne l'occasion de faire le bœuf avec Charlie Parker.

En 1948, Coltrane se remet à l'alto, dans l'ensemble de Jimmy Heath. Il commence alors à consommer des drogues. L'année suivante, il travaille une fois avec Bud Powell, à New York, puis, en compagnie de Jimmy Heath, il se joint au grand ensemble de Dizzy Gillespie, dans lequel il joue de l'alto tout en continuant de s'exercer au ténor. Au mois de mai 1950, Gillespie dissout son grand ensemble et forme un groupe réduit, avec Coltrane à l'alto et au ténor. En 1951, Coltrane rencontre Charlie Parker pour une deuxième et dernière fois. Il ne subsistera de cette rencontre qu'une photo. Au mois de mai, il quitte définitivement le groupe de Gillespie.

De retour à Philadelphie, il joue avec divers groupes et fait les bars pour subvenir à ses besoins pendant qu'il poursuit sa formation aux Granoff. Il finit par se joindre à l'ensemble de l'altiste de rhythm and blues Earl Bostic, avec lequel il ne restera que quelque temps. Une tournée de l'ensemble de Bostic en Californie donne à Coltrane l'occasion de faire la connaissance d'Eric Dolphy, une rencontre qui eut une importance déterminante dans sa vie. Par la suite, il joue avec Miles Davis et Sonny Rollins au Audubon Ballroom de New York. À cette époque, John consomme de l'alcool et se drogue plus que jamais, à l'héroïne, principalement. Sous l'influence du saxophoniste Yusef Lateef, qu'il a rencontré à Philadelphie, il s'intéresse à la philosophie et à la spiritualité orientales.

En 1953, Coltrane se joint à l'ensemble de sa première idole, l'altiste ellingtonien Johnny Hodges. L'année suivante, au mois de juin, il rencontre sa future épouse, Juanita Grubbs. Celle-ci est convertie à l'islam et, pour cette raison, s'est rebaptisée Naïma.