《宋书•乐志》摘引西晋傅玄《琵琶赋》曰：“汉遣乌孙公主嫁昆 弥，念其行道思慕，故使工人裁筝、筑，为马上之乐，欲从方俗语，故曰琵琶，取其易传于外国也。”原来是为了公主远嫁边疆而特为其仿效筝筑乐器制作而来，目的是以适应公主骑在远行的马背上怀抱而弹，以排解其长途跋涉的乏闷。
但是，唐代《初学记》援引三国人杜挚的观点认为，琵琶兴于“赢秦之末，盖苦长城之役，百姓弦鼗之。”是说公元前210年，秦修万里长城时，已有琵琶。《辞海》 也说，秦时已有长柄皮面圆形音箱的琵琶，名曰“弦鼗”。秦汉以来不断改进，发展为阮咸、秦琴、三弦、月琴等多种形制，其共同特点为圆形直颈，宋代以前统称琵琶。
南北朝时又有曲项琵琶传入，类似“乌特”。隋唐年间盛极一时，有龟兹琵琶、五弦、 忽雷等多种形制，其共同特点为半梨形曲项（颈)，当时亦统称为胡琴。唐宋以来，在 两种琵琶基础上不断改进，逐渐形成现今形制：音箱呈半梨形，以桐木板蒙面，琴颈 向后弯曲、颈与面板上设“相”、“品”，张四弦，按四、五度关系定弦。
演奏方法改原横抱为竖抱，改原用拨子弹奏为手指弹奏，技法日趋丰富，成为独奏、伴奏和合奏的 重要民族乐器。四相十三品，后经改革，增至六相二十三品，能奏所有半音。