Obec, fara a kostol zasvätený sv. Petrovi sa prvýkrát spomína v listine z roku 1297. Historický názov obce v okrese Veľký Krtíš je Svätý Peter alebo iba Peter, jej názov sa často menil, a dnešný názov Pôtor sa úradne používa od 12. mája 1923. Evanjelický kostol v Pôtri je v štátnom zozname kultúrnych pamiatok.