谈到成语的来源，人们总会先想到上边所说的那些所谓有出处的成语。其实在成语里边占比重较大的，还是那些现在已经找不到真正原始出处的成语，这类成语，绝大部分是人民群众创造的。其中有一些具有浓厚的口语色彩和生活气息。例如："大海捞针""指桑骂槐""另起炉灶""三三两两""大刀阔斧""囫囵吞枣"等等。这类成语，因为修辞手法和表达效果都比较好，所以历来就被人们广泛地使用着，而且不仅使用于书面上，也使用于口语中，甚至很早就使用于口语中。如果有人在古书中看到了这类成语，认为某书的作者就是这个成语的创作者，这恐怕未必可靠，譬如见于宋人语录里边的一些成语，见于元人杂剧里边的一些成语，未必就是产生于宋朝或元朝，可能都还早。

有些成语，在两三千年之前就已经被人们写在书里。虽然用的是文言，看起来很典雅，其实本来是群众口头中使用的谚语或俗语。例如，"亡羊补牢""敝帚千金"等等，都属于这一类。为什么知道这些成语本来是谚语或俗语呢？因为使用这些成语的古人，在古书里边已经说了。如：《战国策·楚策》说："臣闻鄙语曰：亡羊补牢，未为迟也。"（意思是：养在羊圈里的羊跑掉了，赶快把圈修补起来，免得别的羊再跑掉，也还不算晚。）曹丕《典论·论文》说："里语曰， 家有敝帚，享之千金 "（意思是：俗语说，家里有一把破扫帚，自己以为宝贵得可以同千金相比。享就是"当"或"当做"。）《史记·白起王剪传》说："鄙语云，尺有所短，寸有所长。"所谓鄙语、里语或谚语、俗谚，就是民间的谚语或俗语的意思。实则有些来自谚语或俗语的成语，在古书上，也还有并不一定标明是"里语""鄙语"的。

另外还有些谚语和俗语，从文字上看，不像一般成语那样整齐典雅，很明显是人民大众的口语。可是因为它们通俗易懂。具有很好的表达效果，因此广泛地被人们所使用，也成了成语。例如"牛头不对马嘴""坐山观虎斗""众人拾柴火焰高""天下乌鸦一般黑"都是属于这一类的。

我们使用的成语，也有来自外国的。例如魏、晋、六朝、隋、唐时候，我国翻译了不少流行于西域和印度的佛经。佛经里边的语句和典故，不少从早就成了我国的成语。例如："一尘不染""现身说法""心花怒放""不可思议""不即不离""回头是岸"皆是。明、清以来，我国跟西洋各国的文化交流逐渐频繁，西方的典故、格言以及西洋著作的汉文译本中的精炼语句，有的也就变成了我国人使用的成语。例如："时者金也""以眼还眼，以牙还牙""旧瓶装新酒""火中取栗""新陈代谢""物竞天择""弱肉强食""拿原则来做交易""按劳取酬"等等都是。

前边说过，成语是固定词组或固定的句子，一般不能随便改变。但是有时候为了表达上或行文上的需要，也可以更换一两个字，巧妙地把它加以改造使用。这种改造的成语，表达的效果往往比较强，因为把成语改了一两个字，特别能引起读者的注意。这种办法，古代就有的。例如"物极则反"这个成语出于《鹖冠子·环流篇》。意思是事物发展到极点，一定要转到它的反面。后代有人把它改为"物极必反"，就觉得更为肯定有力。南北朝时，北周有名的文学家瘐信作《哀江南赋》就把这的成语改为"物极不反"，表达他那无可奈何的愤慨情绪。又如"事半功倍"这个成语，出于《孟子·公孙丑》，意思是说用力小而效果大。后来有人把这个成语里的"半""倍"两个字的位置一换，改为"事倍功半"，来说明工作费劲大，收效小。但是在古代，这样使用成语的例子比较少。现在我们进入了伟大的社会主义时代，前人某些思想意识的错误性和局限性，显露得很清楚。因此把成语加以改造而表达新思想的，用得也就比较多了。例如"把"欲速则不达"改为"欲速必达"；把"一举两得"改为"一举三得""一举多得"；把"一箭双雕"改为"一箭三雕""一箭多雕"；把"知难而退"改为"知难而进"等等。

时代已经改变了。生活在新社会不同于生活在旧社会，人们的思想感情、精神面貌起了很大的变化。旧的清规戒律，已经不能拘束我们了，有一部分旧成语的内容，显然不适合于今天的社会。譬如具有共产主义风格，敢于蔑视困难，敢于胜利的人们，绝不会"知难而退"。新成语"知难而进"的产生，是很自然的。这也可以算是化消极为积极，同时也收到了"古为今用"的效果。

厚今薄古 推陈出新 多快好省

分秒必争 力争上游 百花齐放

勤俭持家 修旧利废 上山下乡

勤学苦练 只争朝夕 化废为宝

比学赶帮超 全国一盘棋

等等。同时，也产生了少量具有批评性的新成语，例如："缩手缩脚"、"少慢差费"。这类新成语，具有鲜明的时代精神，含有积极意义。所以产生以后，立刻就不胫而走，为各阶层的广大人民群众所喜用。