最早的爵士乐队包括黑管、短号、长号、鼓等乐器，由3到8个演奏员组成一个乐队，后来小号取代了短号，又加上了萨克斯管、吉他和倍大提琴等乐器，才形成了比较完整的爵士乐队。爵士音乐家们在选定一首乐曲后，决定为它配什么样的和声和如何重复，便开始即兴演奏。他们当时所选的乐曲，可能是拉格泰姆、蓝调、进行曲或流行歌曲。在即兴演奏时，一般由短号演奏旋律，黑管环绕主要旋律演奏对位旋律，长号演奏和声基础，而鼓打出各种节奏。每件乐器除伴奏之外，一般也要即兴地演奏一段。所以，与其说爵士乐是一种独特的音乐，不如说它是一种以即兴独奏和集体合奏相结合的独特演奏方式。这种方式之所以能够被音乐家实践，是因为它吸取了欧洲音乐中的精华一和声，在和声背景的制约下进行即兴演奏，使集体的合奏和个人的发挥都有了依据。这种方式又之所以为全世界的广大听众所欢迎和热爱，也在于它的原则与西方古典音乐不同，更能体现近现代人对生活的看法和现代人精神方面的要求。
    20世纪20年代，许多杰出的爵士乐演奏家从新奥尔良搬到了芝加哥，这样芝加哥便取代新奥尔良，成为爵士乐的中心。芝加哥的白人音乐家也喜欢爵士乐，便把一些流行的和古典音乐的曲调改编为爵士乐，但白人音乐家并不即兴演奏。这种根据事先写出总谱演奏的爵士乐被成为“甜爵士”(sweet jazz)。1924年，为了在卡耐基音乐厅演出，“甜爵士”的倡导者包罗惠特曼(Paul Whiteman)请作曲家格什温(George Gershwin)按爵士乐的风格为交响乐队写了一首《蓝色狂想曲》(Rhapsody in Blue)，这首乐曲演出后受到公众的热烈欢迎，被称为“交响爵士”(symphonic iazz)。由于“甜爵士”和“交响爵士”都不是即兴演奏而是按谱演奏，当时许多评论家不认为它们也是“爵士乐”。