Kořeny Zemského archivu sahají až do začátku 14. století a tím je třetím nejstarším státním archivem v republice. Začátek kmenového fondu Slezský stavovský archiv, jehož řadu listin zahajují „zakládací“ privilegia knížectví, spadá do doby konstituování samostatného opavského knížectví v čele s levobočnou linií královského rodu Přemyslovců.

Zprávy ze 16. a 17. století dokumentují péči o zemské knihy a privilegia, které byly tehdy uloženy v opavském minoritském klášteře. Po zrušení jezuitské koleje v roce 1800 byla její budova zakoupena pro archivní účely. Archiv byl postupně přestěhován do několika místností v novém Zemském domě a doplněn o písemnosti správních úřadů rakouské části Slezska, vytvořené v roce 1742 ze zbytku slezského území po prohrané válce s Pruskem.

Odborné uspořádání archivu začalo od poloviny 19. století

Berní úředník Franz Tiller vyhotovil cennou sbírku opisů listin k dějinám Slezska, o slezské archiválie se zajímali vládní úředník Leopold Svoboda a středoškolští učitelé Jan Lepař, Franz Kopetzky, Vincenc Prasek, Josef Zukal a Franz Kürschner.

Posledně jmenovaný jako pozdější ředitel archivu ministerstva financí ve Vídni připravil z pozůstalosti Franze Kopetzkého k vydání dodnes využívaný regestář listin k dějinám opavského knížectví do roku 1464. Navíc byl starším bratrem opavského gymnazijního profesora Gottlieba Kürschnera, který byl v roce 1880 jmenován zemským konzervátorem pro písemné památky Slezska. Ten koncem 19. století uspořádal listiny zemského archivu a postaral se o jejich nové a bezpečné uložení. V roce 1901 se Gottlieb Kürschner stal zemským archivářem a od té doby se datují dějiny opavského zemského archivu jako odborně spravovaného zařízení.

Regulérním zemským ústavem byl archiv až od roku 1927

V té době stál v jeho čele profesor opavského českého gymnázia Václav Hauer. Existenci samostatného slezského zemského archivu se podařilo obhájit i po administrativní reformě v roce 1928 a v roce 1933 slavnostně převzal do péče staré zemské desky opavského a krnovského knížectví. V letech 1938 až 1945 byl dosavadní zemský archiv přetvořen v Říšský archiv pro opavský vládní obvod v čele s bývalým vídeňským archivářem Waltherem Latzkym. Budova zemského domu se stala sídlem vládního prezidenta a archiv byl přesunut do minoritského kláštera.

Převzetím rozsáhlých fondů politické i justiční správy i některých velkostatků výrazně narostlo množství spravovaných archiválií, rozšířené v letech 1943 až 1945 o velké množství písemností z Ukrajiny, Běloruska a pobaltských zemí. Před postupující frontou se naštěstí podařilo vyvézt z Opavy značnou část archiválií. To je zachránilo před zničením, kterému během bojů neuniklo téměř celé město.

Po osvobození byla archivní budova obnovena

V dubnu 1945 mohla činnost zemského archivu pokračovat a na pracovníky čekalo hlavně nové roztřídění archiválií i delimitace zavlečených fondů do SSSR, Polska a na Slovensko. Působnost byla rozšířena na celé české Slezsko a severovýchodní Moravu. Po územní reorganizaci v roce 1949 se bývalý Zemský archiv v Opavě stal archivem pro nově vytvořený Ostravský kraj a jeho organizační vývoj již byl identický s ostatními oblastními archivy.

Do roku 1950 sídlil přechodně v budově Sobkova paláce a pak se přestěhoval zpět do opraveného zemského domu ve Sněmovní ulici, kde sídlí dodnes. V roce 1960 už byl archivem pro celý Severomoravský kraj a začátkem roku 1984 prošla budova po zřícení části západního křídla více než desetiletou rekonstrukcí. Svůj původní název Zemský archiv v Opavě dostala instituce v roce 1991 a nyní je rozčleněna na šest oddělení včetně pobočky v Olomouci a deset státních okresních archivů.