Postupné formování současného vzhledu rotvajlera do těch nejmenších detailů je záležitostí předposledních dvou staletí. Kořeny pestré historie tohoto plemene však sahají velmi daleko do minulosti, do doby starověkého Říma. Ve starověku se v alpské oblasti a jejím okolí v samotném srdci Evropy postupně vyvíjela celá řada dogovitých typů psů.
Jednotlivé typy sice vznikaly v důsledku různorodého terénu lokality navzájem vesměs odděleně, ale přesto nesly mnoho společných charakteristických znaků.
Je pravděpodobné, že mnozí tito psi byli potomky zvířat, které s sebou přivedli vojáci z římských legií při svém tažení na sever Evropy a sami je získali původně ve vzdálených východních krajinách. Převážení psi sloužili patrně k lovu divoké zvěře a honbě početných stád dobytka, jenž byl určen pro potřeby římského vojska a býval použit i při následném osidlování nově zabraných oblastí. Na jihu dnešního Německa založili Římané za vlády Tita Flavia Vespasiana osadu Area Flaviae, která byla stěžejní spojnicí důležitých cest.
Kdysi významná římská osada na jihu dnešního Německa byla později přejmenována na Rottweil. Ve 13. století jí byl přiznán status svobodného říšského města. Město se stalo vyhlášeným centrem pro obchod s dobytkem, působilo zde mnoho řezníků a stáda sem byla hnána i z velkých dálek. Při takových cestách bylo naprosto nezbytné zajistit cenným kusům dobytka co nejlepší ochranu před predátory různého druhu. K tomu sloužili zvláště silní a výkonní psi, kteří byli potomky dávných římských předků.
Tohoto psa, jenž měl některé znaky společné se švýcarskými salašnickými psy, choval nejeden řezník z Rottweilu. Psům se proto začalo přezdívat podle názvu města „rottweiler“. Rotvajlery ale používali ve své době také místní šlechtici při lovu černé zvěře a šelem, vyskytujících se ve zdejších hlubokých lesích. K velkému zvratu v historii plemene došlo na začátku 20. století, kdy byla zavedena železnice. Hlavní pracovní upotřebení plemene v podobě honáckého psa tím pádem vzalo za své a rotvajler se ocitl téměř před vyhynutím. K tomu naštěstí nakonec nedošlo, neboť rotvajler začal být používán ve službách policie.
V roli polic
ejního psa se osvědčil nadmíru dokonale. K oficiálnímu uznání rotvajlera coby policejního plemene došlo v roce 1910. Rotvajler se tak zařadil po bok vedle německého ovčáka a erdelteriéra, kteří byli pro své výjimečné schopnosti rovněž vybráni pro policejní službu. V roce 1914 byl založen Deutsche Rottweiler Klub, o rok později vznikl v jižním Německu International Rottweiler Klub. Oba kluby se původně lišily ve svých preferencích ohledně zaměření a důležitých specifik plemene. V roce 1921 byly sloučeny a byl tak vytvořen Německý klub chovatelů rotvajlerů.
