Istnieje przypuszczenie, iż pierwsza osada funkcjonowała na przecięciu szlaków handlowych z Frankfurtu do Poznania i z Krosna do Gorzowa już w I pół. XIII w. Około roku 1250 tereny te stały się własnością Konrada Sternberga, arcybiskupa magdeburskiego, który w latach 1266-1276 wybudował tu zamek siedzibę. Znany jest dokument z roku 1300 określający dobra rodziny von Strele na 200 łanów w miejscowości "Chorith circa Sternenberge" (Koryta koło Sternbergu). W kolejnym dokumencie z 1313 roku zachowała się wzmianka o grodzie Sternberg i przynależącym do niego okręgu. Obydwa przekazy świadczą, iż Torzym był już w XIV w. grodem, stolicą okręgu administracyjnego, zwanego Ziemią Torzymską.
Około roku 1375 potwierdzone są prawa miejskie Torzymia. W połowie XV w. miasto i zamek wraz z okolicami trafiają w ręce rodu von Winning. Na początku XVI w. von Winingowie z Torzymia oskarżeni zostają o prowadzenie rozboju na traktach handlowych i przez to paraliżowanie handlu i rozwoju okolicznych miast. W 1506 roku do Torzymia dotarła wyprawa zbrojna zorganizowana przez Księcia Głogowskiego Zygmunta Jagielończyka i elektora brandenburskiego Joachima, skierowana przeciw rycerzom - rozbójnikom. Zniszczono wówczas doszczętnie zamek, który nigdy potem nie został już odbudowany. Pozostało po nim tylko warowne miejsce w dolinie Hanki, około 3 kilometry na północ od Torzymia. W dalszym ciągu rozwijało się jednak miasto, dzieląc wraz z okolicą wzloty i upadki w trakcie kolejnych dziesięcioleci. Związane są one z okresami dobrej koniunktury gospodarczej z jednej strony, z drugiej zaś z licznymi wojnami, najazdami oraz pożarami drewnianej głównie zabudowy. Zniszczenia ostatniej wojny (ok. 50%) spowodowały, że Torzym utracił prawa miejskie. Dopiero dekretem Rady Ministrów z dn. 01.01.94 r. uzyskał je ponownie, by stać się prężnie rozwijającym ośrodkiem gospodarczym i turystycznym.