在中国古代，早在西周时就设有谏臣“保氏”，据《周礼地官》记载，“保氏掌谏王恶”，意思就是说，向统治者建言献策。谏议制度在春秋战国时代得到很大发展。由于春秋战国时期诸侯霸连连，各国为了发展实力都积极鼓励进谏。例如在《战国策·齐策一》中就记载，齐威王听从邹忌的建议，积极鼓励进谏而规定，“群臣吏民，能面刺寡人之过者，受上赏；上书谏寡人者，受中赏；能谤议于市朝，闻寡人之耳者，受下赏”。结果我们都知道“燕、赵、韩、魏闻之，皆朝于齐。此所谓战胜于朝廷”。意识就是说“燕、赵、韩、魏等国听说了这件事，都到齐国朝拜齐威王。这就是身居朝廷，不必用兵就战胜了其他国家”。这是在政治上取得的胜利，不用费一兵一卒就让其他国家心悦诚服。
而谏议制度正式得以制度化是在秦朝，秦始皇开设专职谏议大夫，属于郎中令，专掌议论。到了汉朝，汉承秦制，沿袭了这一制度。东汉时期谏官成为定官。设谏议大夫、太中大夫和光禄大夫来执掌议论，谏官的数量由皇帝确定，多是达数十名，担任这些职务的人大都是社会名流，他们说话具有一定的影响力，也就是清议和舆论。
魏晋时期，五胡乱华，地方割据势力军阀混战，由于各军事集团相互争夺，为了能够做出较好的决策，赢得战略上的优势，都积极吸引人才，这时候，谏官的作用就更加突出了。
谏议制度的成熟和完备是在隋唐时期。隋朝时期谏官专属门下省管辖，而唐朝的进谏职能则由门下省和中书省共同承担。唐代的门下省设给事中四名及若干辅助人员，并设左谏议大夫四名，中书省设右谏议大夫四名。同时，还创设补阙和拾遗两个官职，也是有谏官担任。唐太宗李世民极为重视谏议制度，他指出：“人心所见，互有不同，苟论难往来，务求至当，舍己从人，亦复何伤”。意思就是说，人们对同一件事情会有不同的看法和见解，如果能够互相切磋交流，应当力求达到准确恰当，放弃个人不正确的见解，对正确的意见表示服从，对个人又有什么伤害呢！值得说道的是，唐太宗李世民的“贞观之治”与谏议制密不可分，正是唐太宗虚心请教和接受谏官们的意见，减少决策的失误，完善国家治理政策，提高治理效能。
宋代是中国传统社会谏议制度发展的高峰。宋朝吸取前朝地方诸侯割据的教训，主张重文轻武，政治上文人治天下，鼓励文人议论时政和谏言。所以，宋朝非常重视谏议制度的总结与完善，宋真宗时修编的《册府元龟》就收录了历史上多件谏书。宋朝在对以往谏议制度继承的基础上，又设谏院。谏院不仅要向皇帝建言献策，还负责监督各级官员和百官之首宰相。为了真正做到鼓励大臣积极议论时政，针砭时弊，因而在宋代有一条不成文的规定——刑不上大夫，就是说不杀大臣言事官，无论言官们说的话有多毒，惹怒了皇帝，都不可以杀言官。这在中国古代皇帝掌握臣子们的生杀大权现象中是很独特的，但是不是说皇帝真的不可以杀言官吗？皇帝不杀你，但可以贬你，把你派到的蛮荒之地，让你背井离乡。
宋代以后，谏议制度随着专制皇权的不断强化有日渐萎缩的趋势。但是，谏议并未完全消失，只是和其他制度融合，并且台谏合一后，科道官匡扶君主、谏争得失的职能并未消失，御史、科道官依然是负有谏诤和监察的双重职能的。