Suure-Jaani linn asub Sakala kõrgustiku põhjaserval.
Asula tekkis muistse Valula küla kohale, mida on mainitud juba 1428. aastal. 17. sajandil hakati asulat nimetama kaitsepühaku Johannese järgi Suure-Jaaniks (Gross Sankt Johannis), et eristada teda Kolga-Jaanist (Väike-Jaani, Kein Sankt Johannis).
Kirik ning selle juurde kuuluvad kirikhärra ja köstri eluhooned olid esimesteks ja pikema aja jooksul ainukesteks ehitusteks praeguse Suure-Jaani linna territooriumil.
1891. aastal hakati Valula karjamõisa maadel (külgnesid Suure-Jaani kirikumõisa maadega) välja andma ehituskrunte. Paari aasta jooksul peale seda sai püsti 18 elumaja. 
Esimene eraehitaja oli Põdra-nimeline pagar. See maja Köleri tn.16 on veel alles.
1918.aastal hävis hulk maju tulekahjus.
Suure-Jaani arengut pidurdas see, et Viljandi-Tallinna raudteeliin viidi alevist mööda.Lõhavere mõisa omanik ei lubanud raudtee jaoks maad.
19. sajandi lõpuks oli endine kirikuküla arenenud alevikuks, kus asusid kihelkonnakool (1825), kõrts, apteek (1882) ja tööle hakkas arst. Siin oli 3 poodi, 5 pagarit, 2 nahaparkalit, 2 riidevärvimistöökoda. Elanike arv oli sajandivahetuseks umbes 600 . 

1903. a. asutati turg. 1906-1908. a. ehitati vene õigeusu kirik. 1908. a. avati lasteaed, mis töötas esialgu ainult suvel, kui olid kõige kiiremad põllutööd. 1909. a. asutati Suure-Jaani Haridusseltsi "Ilmatar" raamatukogu. 1910. aastal alustas tööd postkontor, 1911. aastal Suure-Jaani Piimatalituse Ühisus, 1919. a. Suure-Jaani Ühispank.

1922. aastal tehti lõplik otsus eraldada Suure-Jaani Taevere vallast. Samal aastal olid ka esimesed alevivolikogu valimised. Alevi sekretäriks sai Jaan Jaska, kes töötas sellel kohal 1940. aastani.
1922. aasta rahvaloenduse ajal oli Suure-Jaanis 141 elumaja 1040 elanikuga. Territoorium oli selleks ajaks 181 hektarit. Elanike peamiseks elatusallikaks oli töö taludes, talvel käidi metsatöödel. Tööstusettevõtteid Suure-Jaanis polnud.
1923. aastal sai Suure-Jaani alevi õigused. 
Elektrivalgus tuli Suure-Jaani sajandi algusaastail. Oli oma elektrijaam. 1929. a. pandi tänavaile elektrivalgustus. 1931. aastal ehitati uus elektrijaam. Asutati mööbli- ja puidutööstus. Linnas oli 6 sõidu- ja 3 veoautot.

1. mail 1938 sai Suure-Jaani linnaõigused. Erilisi muutusi see siiski kaasa ei toonud. 1939. aastal oli linnas 12 kauplust, 2 restorani ning 2 pagari- ja kondiitri töökoda. Turuplatsi ääres oli võõrastemaja, kus sissesõitjaile oli kasutada 5-7 numbrituba.

Teine Maailmasõda Suure-Jaanit märkimisväärselt ei puudutanud.

1950. kuni 1959. aastani oli Suur-Jaani samanimelise rajooni keskus. 

Elanike arv oli 1934. a. -1040, 1938. a. - üle 1100, 1941. a. -1143, 1959. a.- 1713, 1965. a.- 1664 ja 1992. a. -1500.