Prvi spomen crkve Gospe od Poja je 14. kolovoza 1338. s nazivom sv. Marija u Poju. U isto vrijeme zapisane su i druge blatske rane crkve sv. Martina u Krtinji, sv. Mihovila, sv. Kuzme i Damjana u Zablaću, sv. Ivana na Gradini (kod Vele Luke), sv. Križa, sv. Jeronima i sv. Jurja u Potirni.
Blatsko polje spominje se pod imenom »Campus sanctae Virginis gloriosae de Blato«, što upućuje da je crkva bila izgrađena i prije 14. st. Predaja ju je oduvijek nazivala »grčkom crkvom« odnosno antičko- kršćanskom. Nedavna istraživanja potvrdila su da je na istom mjestu u 4./5. st. postojala ranokršćanska bogomolja izgrađena na temeljima rimske rustične vile, kod koje se iza apsida u temeljima starije crkve nalazio starohrvatski grob u obliku lađe. Grob je dokaz pretpostavke o hrvatskom naselju oko sv. Marije iz 9./10. st. i crkvici koja ima romansku rotondu s hrvatskom nadogradnjom iz toga vremena.
Njezina apsida nema spoj s lađom, a iza oltara otkriven je stari minimalistički oltar iz toga vremena visine 80 cm i veličine 60 x 60 cm udaljen od začelnoga zida 60 cm. Ostatci rimske vile pronađeni su novom izgradnjom ceste kraj crkve, ali i postojanje naselja s kontinuitetom stanovanja do 14. st. U prvom zapisu o crkvi spominje se izvjesni kapelan Andrija od sv. Marije u Blatu, što upućuje na postojanje starijega naselja Blato, vjerojatno osnovanoga u vrijeme dolaska kneza Mislava i njegovih plemića u 9. st. Na prostoru oko crkve nalaze se vinogradi u kojima je pronađeno mnogo grobova. Kosti pokojnika pohranjene su u jamu ispred portala crkve.
Pročelje Gospe od Poja plošno je s kvadratnim vratima, prozorom iznad njih i dva bočna uska prozorčića te šiljastom gotičkom preslicom. Na zahtjev korčulanskoga kneza Pankracija Zorzija dubrovački je graditelj Ratko Ivančić g. 1431. popravio krov, probio pročelni prozor i izgradio zvonik. U unutrašnjosti su istaknute pojasnice, duboka apsida i oltarni stol na jednu nogu. Mise su na blagdan Velike Gospe.
