Гімназію започатковано в жовтні 1898, коли зусиллями О. Барвінського та інших діячів почалися заняття в 1-му українському класі польської гімназії завдяки тому, що він назвав гімназію на честь польського короля. Згодом кількість україномовних класів зростала, вони розташовувались у Домініканському монастирі (нині приміщення ДАТО на вул. Сагайдачного). У 1901 із класів створена самостійна українська гімназія. Перша матура (іспит на атестат зрілості) у новоствореній гімназії відбулася у 1906. У 1903 гімназія переведена у приміщення реальної школи на вул. Музейній (нині: Валова), у 1911 — в новий будинок на вул. Костюшка (нині: Камінна), на фронтоні якого був напис «Ц. К. Руська гімназія ім. Франца-Йосифа в Тернополі» (будинок не зберігся).. Перша світова війна
У 1914—16 гімназія не діяла, в її приміщенні був військовий шпиталь. Восени 1916 гімназія відновила діяльність завдяки старанням української громадськості; заняття проводили в різних приміщеннях. За австрійської влади та в період ЗУНР 1917-19 гімназистів навчали у приміщенні «Союзу повітових кооператив» на вул. Міцкевича (нині: бульвар Т. Шевченка). Польсько-українська війна і прихід Червоної Армії (1919-20 рр.) перервали процес гімназійної освіти. Навчання відновилося у кінці 1920 р. в будинку на вул. Камінній і тривало до 26 вересня 1930 р., коли влада ліквідувала гімназію. Це був один із антиукраїнських заходів у рамках «пацифікації». Педагоги та учні Тернопільської української гімназії об'єдналися з українською жіночою гімназією «Рідна школа», що діяла в будинку бурси на вул. С. Качали; відтоді цей новий заклад працював як приватна гімназія «Рідна школа» гуманітарно-природничого типу. Радянські часи
Після встановлення радянської влади у вересні 1939 на базі гімназії створено середню школу № 1: у ній продовжили навчання учні й працювала більшість викладачів колишньої гімназії. Спочатку школа розташовувалася в приміщенні нинішньої ЗОШ № 3 на вул. Грушевського, потім — у приміщенні на вул. Коперніка (тепер у ньому функціонує відновлена українська гімназія). В роки німецької окупації Тернопільська українська гімназія відновилась і розмістилася у приміщенні на нинішньому бульварі Т. Шевченка, 1. Напередодні боїв за Тернопіль на початку 1939 гімназія перестала існувати. ЇЇ спадкоємницею знову стала середня школа № 1, яку реорганізовано у 1991 р. у фізико-математичну гімназію, а відтак — у Тернопільську українську гімназію ім. I. Франка.
