Sebuah pemukiman terbentuk didataran tinggi/geneng dekat pantai sebelah barat Lasem dan diberi nama Banggi pada masa pemerintahan Pangeran Wirabraja, beliau menjadi bupati menggantikan ayahnya Badra Nala, cucu Wijaya Badra, cicit Rajasa Wardhana dengan Bhre Lasem Duhitendu Dewi dan memindahkan Puri Kriyan Lasem ke bumi Bonang Binangun, pada tahun Syaka 1391/1469 M. Pada waktu Pangeran Wirabraja berpindah dan menetap di Kadipaten Binangun, orang-orang yang berdagang dan berlayar sepanjang pesisir  Tuban, Gresik, dan Ngampel  sebagian telah rela dan ikhlas memeluk agama Islam. Karena agama Islam lebih mudah, syarat-syaratnya juga lebih hemat dan ringan; tidak terlalu banyak upacara-upacara dan sesaji beraneka macam yang hanya menghabiskan harta benda.

Banggi (bahasa sansekerta Banggi berarti ongkos, beaya) jadi artinya tempat untuk menarik retribusi masuk gerbang bagian barat pelabuhan Kaeringan. Pesisir Banggi banyak ditumbuhi pohon Keben/Butun dan tokoh pendirinya  sering duduk dibawah pohon butun maka oleh penduduk diberi julukan Mbah Butun dan pohon beringin/punden perabuan yang berada di halaman Balai Desa Pasar Banggi (sekarang) menandakan adanya toleransi dan kerukunan umat beragama. Perkembangan pemukiman Banggi sangat pesat tempat yang awalnya sebagai gerbang retribusi berubah jadi pasar ketika kadipaten Binangun pindah ke Lasem dan Pangeran Santipuspa menjabat sebagai Dhang Puhawang di Kaeringan.  Penduduknya ada yang berdagang, petani dan nelayan, mayoritas yang diperdagangkan di pasar adalah ikan hasil tangkapan nelayan.

Pada tahun 1745 Gubernur Jendral VOC Van Imhof mengangkat Suro Adimenggolo III menjadi bupati regency Lasem untuk memecah belah Kadipaten Lasem serta menghancurkan budaya dan tradisi masyarakat hingga terjadi pemberontakan yang mengakibatkan pindahnya regency Tulis-Lasem ke Magersari-Rembang. Tahun 1751 kompeni Belanda mutlak menguasai daerah Lasem dan Banggi menjadi wilayah Rembang.

Ketika Daendels berkunjung ke Semarang pada pertengahan Juli 1808, ia mengundang semua bupati di pantai utara Jawa. Dalam pertemuan itu Daendels menyampaikan bahwa proyek pembangunan jalan raya pos harus diteruskan karena kepentingan mensejahterakan rakyat. Para bupati diperintahkan menyediakan tenaga kerja dengan konsekuensi para pekerja ini dibebaskan dari kewajiban kerja bagi para bupati tetapi mencurahkan tenaganya untuk membangun jalan. Sementara itu para bupati harus menyediakan kebutuhan pangan bagi mereka. Semua proyek ini akan diawasi oleh para prefect yang merupakan kepala daerah pengganti residen VOC. Medan yang sulit menghadang Daendels ketika mencoba menghubungkan Semarang dengan Surabaya. Bukan hanya karena tanahnya tertutup oleh rawa-rawa pantai, juga karena sebagian dari padanya adalah laut pedalaman atau teluk-teluk dangkal. Untuk itu kerja pengerukan rawa menjadi hal utama. Walau angka-angka korban di daerah ini tidak pernah dilaporkan, mudah diduga betapa banyak para pekerja paksa yang kelelahan dan kelaparan itu menjadi korban malaria. Daendels hanya memperlebar jalan raya timur-barat yang sudah ada dan mengambil banyak tambak ikan milik rakyat. Banyak orang desa dipaksa bekerja untuk jalan ini, karenanya menyebabkan pelarian besar-besaran dari orang desa kepedalaman yaitu daerah Mataram. Semua kuil Hindu dan Budhis dihancurkan dan batunya dipakai untuk menguruk jalan. Mungkin hal itu merupakan alasan mengapa sekarang kita tidak dapat menjumpai satupun kuil Hindu dan Budhis di sana. Perpindahan penduduk dari desa semula (selatan jalan raya) mendekati punden, terjadi ketika ada pembangunan jalan raya pos oleh Daendels. Perpindahan yang selain dekat dengan punden oleh beberapa penduduk yang tersisa untuk menghindari penyakit malaria yang menelan banyak korban, wilayah tersebut memang dekat dengan pantai. Sehingga penduduk leluasa untuk pergi melaut tanpa perlu berjalan jauh. Hingga saat ini wilayah Banggi menjadi perkampungan nelayan. Walau sebagian penduduk lainnya tetap menggarap sawah, melengkapkan profesi yang lain dari penduduk setempat.

Proyek  jalur kereta Semarang-Rembang di bangun tahun1884-1900 sedangkan menuju ke timur yaitu Lasem-Jatirogo jalur keretanya di bangun tahun 1914-1919 dan Juana (Joana)-Lasem mulai di buka tanggal 1 Mei 1900 banyak menelan korban akibat kerja paksa Belanda saat itu sungguh pengorbanan yang harus di bayar mahal. Pelaksanaan proyek pembangunan dipimpin Baron Sloet Van den Beele. Banggi menjadi stasiun unit Rembang-Lasem dan desa itu berubah nama jadi Pasar Banggi.

Punahnya pasar di Desa Pasar Banggi ketika pasukan Dai Nippon mendarat di pantai Lasem tahun 1942 kemudian Jepang mengambil alih galangan kapal Belanda, pembuatan kapal di Lasem, yang telah dimulai sejak era imperium Majapahit dan Mataram Islam, dilanjutkan Jepang. Kerja paksa/romusha yang dilakukan Jepang untuk membangun tempat-tempat penimbunan minyak dalam tanah di Cepu, mengangkut minyak mentah dengan kereta api menuju pelabuhan Lasem dan mengolahnya menjadi bahan bakar untuk pesawat dan kendaraan bermotor. Jepang menyadari betapa vitalnya kawasan sumber minyak di Pulau Jawa dan untuk melindunginya, selain melatih para buruh perminyakan untuk berperang, mereka juga menyebar ranjau anti pendaratan di sepanjang pesisir pulau Jawa dan memperkuat armada perangnya di pelabuhan Lasem.

Desa Pasar Banggi terdiri dari 2 dukuh diantaranya:

1. Dukuh Pasar Banggi
2. Dukuh Kaliuntu

Desa Pasar Banggi memiliki riwayat pemimpin yang berbeda dengan desa lainnya, diantaranya:

1. Nama-Nama Kepala Desa / Penjabat (PJ) Yang Pernah Memimpin Desa
   1. Bapak Kusain yang berdomisili di Dukuh Pasar Banggi. ( 1931-1946 )
   2. Bapak Karni yang berdomisili di Dukuh Pasar Banggi.(1946-1961)
   3. Bapak Danarjo (1961-1976) yang berdomisili di Dukuh Pasar Banggi
   4. Bapak Kasrin (1976-1990) yang berdomisili di Dukuh Pasar Banggi
   5. Bapak Riyanto (1990-1998) yang berdomisili di Dukuh Pasar Banggi
   6. Bapak Maskut 6 Bulan ( 1998 ) PJ Kepala Desa yang berdomisili di Dukuh Pasar Banggi
   7. Bapak Masuri (1998-2006) yang berdomisili di Dukuh Pasar Banggi
   8. Bapak Rukun 6 Bulan ( 2006 ) PJ Kepala Desa yang berdomisili di Dukuh Pasar Banggi
   9. Bapak Rasno (2006-2012) yang berdomisili di Dukuh Pasar Banggi
   10. Bapak Maskut 6 Bulan ( 2013 ) PJ Kepala Desa yang berdomisili di Dukuh Pasar Banggi,
   11. Bapak Rasno (2013-2019) yang berdomisili di Dukuh Pasar Banggi
   12. Bapak Muhammad Ali maftuh ( 1 Bulan ) Plt Kepala Desa yang berdomisili di Dukuh
   13. Dan saat ini di pimpin oleh Bapak Rasno (2019-2027).