早期事迹
刘幽求在武则天圣历年间参加制科考试，被任命为阆中县尉，因受到刺史的轻视，弃官而去，后授朝邑县尉。
担任宰相
710年（景云元年），韦皇后意欲篡位，毒死唐中宗，改立温王李重茂为帝，并临朝听制。刘幽求与临淄王李隆基暗中定计，与钟绍京、麻嗣宗、薛崇简等人发动唐隆政变，入宫诛杀韦后，并经手发出一百多道诏书。次日，李重茂命相王李旦辅政，进封李隆基为平王。刘幽求擢拜中书舍人，参知政务，成为宰相，并赐爵中山县男。
不久，李旦接受李重茂禅位，登基为帝，是为唐睿宗。刘幽求代理尚书右丞之职，仍旧担任宰相，并进封银青光禄大夫、徐国公。当时，李隆基建有大功，群臣都建议立为太子，皇长子宋王李成器也极力请求。刘幽求进言道：“臣听说铲除天下祸患的人应当享有天下的福分。平王拯救社稷君亲于危难，论功最大，论德最贤，应为太子。”唐睿宗遂立李隆基为皇太子。
711年（景云二年），刘幽求罢相，改任户部尚书，不久又调任吏部尚书。同年十月，刘幽求进拜侍中。唐睿宗还赐铁券，让他享有免死十次的特权，并准许他的子孙世代承袭徐国公的爵位。
流放岭南
712年（先天元年），皇太子李隆基继位，是为唐玄宗，尊唐睿宗为太上皇。刘幽求自认为功劳在群臣之上，以为唐玄宗会任命他为尚书左仆射兼领中书令。不料，唐玄宗却任命窦怀贞为左仆射、崔湜为中书令，而刘幽求则为尚书右仆射、同中书门下三品。他心中不平，怨愤之情形于颜色。
当时，太平公主权倾朝野，宰相多出其门下。刘幽求便打算与右羽林将军张暐率羽林军诛杀太平公主，并让张暐密禀唐玄宗：“窦怀贞、崔湜、岑羲等人都是依靠太平公主才当上宰相的，日夜图谋不轨。如果陛下不早日除掉他们，一旦事变突然发生，太上皇怎么能平安呢！臣已经与刘幽求定好了计策，就等陛下下令。”唐玄宗深以为然。
事后，张暐又将密谋泄露给侍御史邓光宾。唐玄宗得知，非常恐惧，急忙将刘幽求等人的罪状列举报告给唐睿宗，刘幽求因此下狱。不久，法司上奏：“刘幽求离间皇帝骨肉至亲，应该判处死刑。”唐玄宗以刘幽求于国有功为由，向睿宗求情，希望免除他的死罪。唐睿宗遂将刘幽求流放岭南封州（今广东封川），张暐、邓光宾也都遭到流放。
刘幽求被流放后，崔湜命广州都督周利贞将其杀死。桂州都督王晙得知这一阴谋，便将刘幽求扣留在桂州，并对周利贞索要刘幽求的公文不予理会。后来，崔湜数次向王晙施压，让他遣送刘幽求。王晙仍旧不理，刘幽求这才得以幸免。
愤恚而死
713年（开元元年），唐玄宗发动先天政变，诛杀太平公主。刘幽求被召回朝中，升任金紫光禄大夫、尚书左仆射、上柱国，并参与军国重事。十二月，唐玄宗更改官制，刘幽求改任尚书左丞相兼黄门监，不久被罢相，改任太子少保。
714年（开元二年），姚崇上奏皇帝，称刘幽求因担任散职抑郁不乐，口出怨言。唐玄宗遂将刘幽求贬为睦州刺史，并削去实封六百户，后调任杭州刺史。
715年（开元三年），刘幽求又调任郴州刺史。他愤恚不已，在赴任途中病逝，终年六十一岁。唐玄宗得知后，追赠他为礼部尚书，赐谥文献。
782年（建中三年），唐德宗追赠刘幽求为司徒。