海西历史悠久。古为西羌地，两汉时今海西东部为先零卑禾等羌人部落活动范围，西部属“若羌国”。汉平帝元始四年(公元4年)，王莽置西海郡，今海西东部属之。王莽末郡废，复为羌地。
东晋后期，今海西西部为吐谷浑属地，东部为鲜卑乙弗国地(后并于吐谷浑)。吐谷浑首领拾寅在位时(约公元452年)，曾在白兰(今都兰县诺木洪一带)修建城廓，至吐谷浑伏连筹即位期间(公元491—529年)曾建都于今海西境内，后移置伏俟城(今共和县石乃亥乡铁卜洽古城)。
隋大业五年(公元609年)，隋军击败吐谷浑，在其地设置四郡，今海西东部属西海郡，西部属鄯善郡。隋末，吐谷浑复据故地。
唐贞观十年(公元636年)，吐谷浑成为唐属国。龙朔三年(公元663年)，吐蕃王国灭吐谷浑据有其地，今海西州曾隶吐蕃腊城节度使。
宋代，今海西西部为撒里畏兀尔(即黄头回纥)地，东部为吐蕃地方政权——角厮啰势力范围。
元代，今海西州西北地区为甘肃行省沙州路辖区，其余大部为宣政院所属吐蕃等处宣慰司辖区。元顺帝时，设曲先答林元帅府，封卜烟帖木儿为宁王，镇守今柴达木西部地区。
明初，今海西为安定、阿瑞、曲先、罕东四卫地，由西宁卫兼管。武宗正德七年(公元1512年)左右，东蒙古诸部开始进入青海，攻破塞外四卫，至此，成为东蒙古诸部统治地区。崇祯十年(公元1637年)，居住在今新疆卫拉特蒙古(即西蒙古)和硕特部，在其首领顾实汗的率领下进入青海，统辖今海西地区。
清雍正三年(公元1725年)，清庭编定青海蒙古左右两翼盟29旗，今海西州境划定9个蒙古旗，统归“钦差办理青海蒙古番子事务大臣”管辖。乾隆二十二年(公元1757年)，班禅商上喇嘛移住巴彦托辉、岳霍洛依(即今都兰县香日德一带)，为班禅香家旗。咸丰八年(公元1858年)，藏族汪什代海部落迁入今天峻县境内驻牧，当地的蒙古北前旗北迁祁连。至光绪年间(公元1875—1908年)藏族沟里、日安两个百户部落迁入今都兰县境内落居。
民国元年(公元1912年)7月，青海办事大臣改为青海办事长官，今海西地区属之。次年增设蒙番宣慰使，管理蒙藏事务。民国4年(公元1915年)，改由甘边宁海镇守使兼管。民国6年(公元1917年)，归都兰理事辖，上隶甘边宁海镇守使。民国19年(公元1930年)，改都兰理事为都兰县，辖今海西州全境，上隶青海省。民国27年(公元1938年)，在今都兰县察汗乌苏镇设立青海省第八行政督察专员公署，民国30年(公元1941年)，改称青海省第一行政督察专员公署，都兰县属其管辖。此间，从民国24年至民国30年(公元1935—1941年)，生活在新疆的部分哈萨克族先后迁入今海西州境内落居。
1949年9月，青海解放。同年11月成立都兰县人民政府(驻地察汗乌苏)，辖今海西州全境，直隶青海省。1952年9月26日撤销都兰县，设立县级“都兰县蒙藏哈萨克族自治区”，1954年1月25日改建为专区级“海西蒙藏哈萨克族自治区”(驻察汗乌苏)，1955年12月12日更名为“海西蒙藏哈萨克族自治州”。
为开发建设柴达木盆地，1955年7月30日在格尔木设立了“柴达木工作委员会”，作为青海省人委派出机构，处理开发建设柴达木盆地的日常工作。1956年2月更名为“柴达木盆地工作委员会”，同年3月驻地迁至大柴旦。1957年4月撤销“柴达木盆地工作委员会”，改设“柴达木盆地行政委员会”，1958年1月更名为“柴达木行政委员会”。
1959年1月，海西州人委由察汗乌苏迁驻大柴旦与“柴达木行政委员会”合署办公。1963年8月26日撤销“柴达木行政委员会”，全政区称“海西蒙古族藏族哈萨克族自治州”。1966年4月州府迁驻德令哈。1984年5月全州的哈萨克族群众自愿要求，并经国务院同意，全部迁返新疆，1985年5月21日定名为“海西蒙古族藏族自治州”。