Kirik ning selle juurde kuuluvad kirikhärra ja köstri eluhooned olid esimesteks ja pikema aja jooksul ainukesteks ehitusteks praeguse Suure-Jaani linna territooriumil. Hoogsam ehitustegevus algas Taevere mõisale kuulunud Valula karjamõisa maadel, mis külgnesid Suure-Jaani kirikumõisa maadega. 1891. aastal hakati seal välja andma ehituskrunte. Esimesel aastal võeti 25 krunti, paari aasta jooksul sai püsti 18 elumaja. Suure-Jaani tekkis praeguse Ringpuiestee, Köleri, Liiva ja Kingu tänavaga piiratud alal. See maa kuulus Nuutre küla taludele 
 Esimene eraehitaja oli Põdra-nimeline pagar. See maja Köleri tn. 16 on veel alles. 1918. aastal hävis hulk maju tulekahjus. Suure-Jaani arengut pidurdas see, et Viljandi-Tallinna raudteeliin viidi alevist mööda. Lõhavere mõisa omanik ei lubanud raudtee jaoks maad. Sellest hoolimata tuli asulasse elama käsitöölisi, väikekaupmehi ja hooajatöölisi. Siia ehitati kauplusi ja asutati väiketööstusi. 19. sajandi lõpuks oli kirikuküla arenenud alevikuks. Siia oli ehitatud kõrts ja kihelkonnakoolimaja 1825, avati apteek 1882 ja tööle hakkas arst. Siin oli 3 poodi, 5 pagarit, 2 nahaparkalit, 2 riidevärvimistöökoda. Elanike arv oli sajandivahetuseks olnud umbes 600. Aastate jooksul on laienenud individuaalehitus. 1965. aastal oli Suure-Jaanis 371 elumaja, neist 49 kommunaal- ja 322 eramaja. Linna territoorium oli 224 hektarit, sellest oli ehituste all 34 ja teede all 13.

 1938. aastal projekteeriti 3,5 ha suurusele maa-alale Suure-Jaani kooli krunt. Hoone ise valmis 1940. aastal, praegu on see algklasside maja. Kooli juurde rajati liigirikas park ja tehti ujuvsild üle Suure-Jaani paisjärve. Kooli juhatas siis Paul Kondas, kes oli tulnud Suure-Jaani kooliõpetajaks 1925. aastal.

 1961. aastal valmis uus keskkoolihoone. Neli aastat hiljem läks käiku kauplus-söökla.