Археолошки институт основан је одлуком Комитета за научне установе, Универзитета и Високе школе НР Србије 31. маја 1947. године у Београду. Циљ је био да се у једној научној институцији окупе све снаге са Универзитета, из различитих музеја и других научних и стручних установа које су се, у разним видовима, бавиле проучавањем археолошких проблема, те да се на тај начин рад археолога у Србији организује што је могуће боље и систематичније. Институт је деловао у оквиру Академије наука и на почетку је имао само спољне сараднике. Управник је био Владимир Р. Петковић, његов заменик Ђурђе Бошковић, а чланови су били: Милоје М. Васић, Радослав Грујић, Александар Дероко, Лазар Мирковић, Светозар Радојчић, Миодраг Грбић, Растислав Марић, Ђорђе Мано-Зиси, Мирјана Љубинковић, Радивоје Љубинковић, Иван Здравковић и Зора Симић-Миловановић. Нешто касније исте године изабрани су: Драгољуб Јовановић, Драга и Милутин Гарашанин, Милорад Панић Суреп и Олга Шафарик. Свог првог сталног члана – научног сарадника Миодрага Грбића – Институт је добио 1948. године. Затим, 1949. године, асистент постаје Невенка Спремо, а ангажује се и библиотекар Надежда Рајаковић, односно Мандић. Милутин Гарашанин, као научни сарадник, постаје стални члан 1950. године. Стални чланови 1952. године постају и асистенти: Војислав Кораћ и Ђорђе Стричевић. Током наредних година број сталних и спољних сарадника Института постепено се повећавао. Данас Институт има више десетина сталних и стотинак спољних сарадника, који се више не постављају декретом министарства, као што је то било на почетку, него се бирају на предлог сталних сарадника.

На  почетку, као што није имао сталне сараднике, Институт није имао ни своје просторије. Нешто неадекватног простора додељено му је 1948. године у Конаку кнегиње Љубице, да би 1952. коначно био смештен у зграду Академије наука (Кнеза Михаила 35), где се и данас налази.  У фебруару 1954. године, одлуком Српске академије наука, Институт је започео пословање као установа са сопственим финансирањем, да би 1961, на основу заједничког решења Извршног већа СР Србије, Српске академије наука и уметности и Филозофско-историјског факултета у Београду, постао самостална научна институција.

Рад  Института је од почетка био усмерен у неколико праваца и обухватао је:

• научни рад (теренски и кабинетски); систематско истраживање и рекогносцирање археолошких споменика
• реализацију рада кроз предавања, саопштења и публикације
• усавршавање научног кадра
• усклађивање археолошког рада у Србији
• сарадњу са другим установама у земљи и иностранству.

Период којим је Институт требало да се бави био је предмет одређених недоумица. Ако је мање-више било неспорно да почеци треба да коинцидирају са добом “дивљаштва” и “варварства”, оснивачима није било сасвим јасно шта би требало да буде terminus ante quem. Коначно је прихваћено да то буде Први српски устанак, што је било условљено како историјским приликама, тако и објективним стањем археолошке науке у том тренутку. Наиме, време турске окупације, с једне стране, ма како добро познато из списа у цариградском архиву, требало је и археолошки истражити, док је, с друге стране, школованих археолога, праисторичара и античара било мало – од 14 првих спољних сарадника Института само  двојица су учила за археологе – што је такође условило појачан интерес за средњовековне списе, архитектуру и сликарство, који ће се у Институту трансформисати тек касније у средњовековну археологију у правом смислу те речи.

Планом и програмом су постављена четири проблема која треба изучавати, односно четири епохе карактеристичне за развој материјалне културе и живота на нашем тлу – праисторија, антика, рани средњи век и пуни средњи век. Наслови тих проблема, уз лаке варијације, биће водиља Института готово тридесет година, све до реорганизације научног рада и живота у Србији, па их стога овде цитирамо:

• Формирање првих друштвених заједница на Балкану, организација њихових насеља и образовање њихових култура;
• Грчка и римска пенетрација на територију Балкана, са посебним освртом на нашу земљу;
• Сукоб византијске културе и нових тенденција које доносе Словени на Балкан
• Стабилизација и развитак словенске и, посебно, српске културе на Балкану.

Имајући одређена овлашћења да организује археолошку активност у Републици, Институт је приступио систематском обиласку терена, и то у сарадњи с другим установама, пре свега са музејима, од којих је већи број основан у то време. Резултати ових истраживања требало је да буду објављени у серији Археолошки споменици и налазишта у Србији у 9 свезака, но, стицајем околности, издате су биле само две свеске, а подухват је замро. Много година касније Институт се, уз помоћ других респективних институција, подухватио задатка да припреми Археолошку карту Србије, али с тим послом се споро одмиче.