Adını ise içindeki bir frekste tasvir edilen bir hayvanın tavşana benzetilmesinden almıştır. Tavşanlı Kilise'nin tarihi hakkında fikir veren kitabeler 10. yüzyıla, Bizans dönemine ait ve bu dönemde İmparator VII. Konstantin zamanına denk geliyor. Kilisenin mimarisi bazilika planlı ve tek sahanlı olarak yapılmış. Sahan ise dar korniş üzerine oturmuş beşik tonozla örtülmüş. Kilisenin duvarları oldukça uzun yapılmış; kuzey duvarları 5.20 cm, yıkılmış olan batı duvarı 3,65 cm, doğu duvarı ise 4.20 cm olarak ölçülmüş. Güney ve kuzey duvarlarında yaklaşık 100 cm genişliğinde ve 25 cm derinliğinde üçerli niş karşılıklı olarak dizilmiş. Kilisenin apsisi ise at nalı şeklinde 2 x 2 metre genişlik ve derinlikte planlanmış. Duvarlarına yerden 60 cm yükseklikte yarım daire ve dikdörtgen planlı nişler yapılmış. Başka kiliselerde rastlanmayan bu nişlerin dini törenler sırasında kullanıldığı sanılıyor. Kiliseyi özel yapan ise içindeki frekslerdir. Nişlerin içlerinde ve duvarların en alt kısımlarında kalan bu boyamalardan günümüze maalesef izleri kalmış. Apsis kubbesinin yarısındaki boyamalar, kilisenin iki çeşit süslemeyle bezenmiş olduğunu gösteriyor. Apsisin tonoz yüzeyi olan taş üzerine kırmızı kök boyasıyla geometrik desenler yapılmış. Boyalı bu taş yüzey en eski katmanını oluşturuyor ve bundan dolayı da kilisenin ilk dönemden bu yana kullanıldığı düşünülüyor. Üst katman ise sıva üzerine boyalı tasvirlerle bezenmiş. Tonozun iç kısmı dikdörtgen bordürlere ayrılarak uzun hikayeler anlatır gibi bol tasvirle ikonografik olarak boyanmış. Bu tasvirler ise genellikle bütün Kapadokya kiliselerinde görülen aziz resimlerinden, dini sahnelerden ve haçlardan oluşuyor.