Męczeńska śmierć złączyła ściśle pięciu pustelników, którzy prowadzili wspólnie życie eremickie u zarania dziejów państwa polskiego. Dwóch włoskich zakonników – Benedykt i Jan, a także ich trzech miejscowych towarzyszy, czyli Izaak, Mateusz i Krystyn, otrzymało zaszczytne miano Pierwszych Męczenników Polski.
Z woli Bolesława Chrobrego dwaj mnisi przybyli około 1001 roku z Italii na ziemie polskie, aby łączyć życie pustelnicze z misją ewangelizacyjną. Wkrótce dołączyło do nich trzech miejscowych młodzieńców. Źródła przekazują dość dokładne opisy ich śmierci poniesionej za Chrystusa w nocy z 10 na 11 listopada 1003 roku. Milczą natomiast na temat miejsca, gdzie znajdował się erem, w którym doszło do krwawego morderstwa.
Wysuwane hipotezy wskazują kilka domniemanych lokalizacji – od miejscowości Święty Wojciech pod Międzyrzecem, przez Kaźmierz pod Szamotułami, po Kazimierz Biskupi, leżący nieopodal Konina. Najsilniejsza tradycja kultowa odnosi się do ostatniego z tych miejsc, do czego postanowił nawiązać na początku XVI wieku bp Jan Lubrański, ordynariusz poznański, powierzając bernardynom troskę o rozwój czci męczenników.
Konwent bernardynów
Hierarcha ufundował konwent przy znaczącym wsparciu swego brata Mikołaja Lubrańskiego, wojewody poznańskiego. Po uzyskaniu stosownych zezwoleń zwrócił się do władz zakonnych o przyjęcie fundacji, co też uczyniono na kapitule w Kobylinie w 1514 roku. W listopadzie tegoż roku uroczyście wprowadzono pierwszych bernardynów do będącego na ukończeniu, drewnianego kościoła pw. Świętego Jana Chrzciciela i Pięciu Braci Męczenników. Niewielka świątynia nie odpowiadała rosnącym potrzebom duszpasterskim, dlatego wkrótce przystąpiono do budowy nowego kościoła klasztornego. Inwestycję wstrzymała śmierć bpa Lubrańskiego w 1520 roku, jednak szybko pozyskano nowych dobrodziejów i już dwa lata później świątynia została konsekrowana.
Tak powstała późnogotycka, jednonawowa świątynia z węższym prezbiterium zamkniętym trójbocznie, dekorowana wewnątrz sklepieniem gwiaździstym, a z zewnątrz otoczona przyporami. Wielokrotnie dokonywano modyfikacji w jej wnętrzu, wyposażając ją w ołtarze: Chrystusa Ukrzyżowanego (1598), św. Jana Męczennika (1598), św. Anny (1604), Matki Bożej (1692), św. Franciszka z Asyżu (1692), św. Antoniego z Padwy (1692), św. Józefa (1722), św. Katarzyny Bolońskiej (1722) i Matki Bożej Sokalskiej (1739). Za głównym ołtarzem urządzono chór zakonny ze stallami wykonanymi przez bernardyna brata Pawła z Wilna. Kościół wyposażono w ambonę (1605), organy (1608), konfesjonały i ławki.
Do kościoła przylegał trójskrzydłowy klasztor, ukończony w latach 50. XVI wieku. O jego uposażenie zadbali bracia Lubrańscy, dalsze nadania pochodziły od rodzin Rusieckich i Kretkowskich. Przez pewien czas w konwencie funkcjonowało studium filozofii i nowicjat prowincji wielkopolskiej bernardynów.
Zakonnicy prowadzili przy kościele tercjarstwo i bractwa, pomagali duszpastersko w parafii kazimierskiej i sąsiednich, a o oddziaływaniu klasztoru świadczą notowane tu konwersje z luteranizmu na katolicyzm. Zakonnicy kazimierscy, na czele z gwardianem o. Januarym Walkowskim, zaangażowali się w powstanie styczniowe. Mimo tego konwent został oszczędzony w czasie popowstaniowej kasaty i funkcjonował aż do 1898 roku.