来俊臣的父亲来操，本来是个赌徒，他与同乡蔡本要好，蔡本欠来操赌债数十万钱，无法偿还，来操于是就强娶了蔡本的妻子，她到来家以前先已经怀孕，生下了来俊臣，所以来俊臣便用来操的姓。
来俊臣天性残忍，喜好反复无常.不从事劳动生产，客居在和州，经常干违法犯禁的偷盗勾当，被逮捕入狱，他在狱中向朝廷密告谋反叛乱的事件。经和州刺史东平王李续，审查讯问没有事实根据，李续于是用刑杖打了来俊臣一百下。
武则天天授年间，李续因为犯罪被杀，来俊臣乘机上书行骗邀功，受到武则天的召见。他在武则天的面前，自称从前向朝廷密告琅邪王李冲谋反的事实，因而受到了李续的压制。武则天觉得他的话可信，于是经多次提拔，让他当上了侍御史，负责审问监狱里的囚犯，多次审处，都符合武后则天的旨意。
武后暗中放任来俊臣的残酷，以威力控制群臣，来俊臣摸准了武后以恶治国的心意，前后杀灭了一千多家，有生以来，与他有细微仇恨的人，全被他杀害。来俊臣又被提拔为左台御史中丞，朝廷内外官吏，都吓得不敢呼吸，以至于在路上相遇时，不敢交谈，只好用眼神示意。
来俊臣带领侯思止、王弘义、郭弘霸、李仁敬、康伟、卫遂忠等人，暗中招集为非作歹之徒共百人，指使他们用流言蜚语，诬蔑公卿大夫，向朝廷奉寄密告有关谋反叛乱紧急情况的文书。每揭发一件事，总是在千里范围之内，几处同时告发。
一经查验，几处说法都一样，当时人称为罗织，又都在告密文书的左边写道：“请交给来使臣追问，一定能得到实情。”
武后相信了他们的话，下诏在丽景门另外设置监狱，命令来俊臣等人，专门审查谋反的事件，在百人之中，没有一个人能得到宽赦。王弘义戏称丽景门为例竟门，意思是说进入这门的人，照例都是死。
来俊臣同他的下属朱南山、万国俊编写《罗织经》一篇，教自己的门徒，如何罗织罪名，文中陈述主脉支脉、大纲由来，全有头有尾，门徒可依此行事。来俊臣审问囚犯，不分轻罪重罪，都用醋灌鼻，挖地为牢，关押囚犯；或者让囚犯睡在满是屎尿的地方，或者不给囚犯饭吃。囚犯饿得甚至啃衣服里的棉絮充饥，大概不是死亡，就终究无法出狱门。
来俊臣又制造大枷，各有名称，一叫定百脉，二叫喘不得，三叫突地吼，四叫着即臣，五叫失魂胆，六叫实同反，七叫反是实，八叫死猪愁，九叫求即死，十叫求破家。
后来又在枷上，加一个用铁做的盖头，披上枷、戴上铁盖头的人，痛苦的直在地上打滚，一会儿便被闷死了。凡囚犯到监狱，都先在他面前陈列各种刑具，囚犯见了，无不震惊恐惧，全都无罪而自动认罪。
治天下唯有仁政，以恶治国，天下哪有不乱的道理？也许是事实警醒了武则天，她后来终于自己结束了这一场历史上有名的恐怖统治。
武则天刚开始以恶治国，给来俊臣这样的无耻歹徒，提供了投机钻营的机会。来俊臣得以从犯窃盗罪的在押囚徒，提升到侍御史的要职，但豺狼终归改不了吃人的本性。
来俊臣对于武则天给予他的恩宠，不仅不知恩图报，而是手中有权，滥施权威，群臣不敢指斥自己，于是进一步想反叛武则天，自立称帝，真是恶火冲天，黑炎万丈，被处斩身亡，最后落得连一块骨头渣子都没有的下场。
来俊臣的妻子因为卫遂忠怒骂自杀而死，来俊臣却无所谓，他不断地发现新目标，并没有把妻子的死当作一回事，可是卫遂忠却寝食难安了，他是来俊臣的心腹，知道来俊臣心如蛇蝎，虽然现在没有找自己的麻烦，但难保哪天不翻旧帐。
怎么办呢？卫遂忠索性一不做二不休，去给来俊臣下绊子了。他知道来俊臣是武则天身边的红人，直接跟武则天说来俊臣谋反未必起作用，所以他决定曲线救国，去求见武则天的侄子魏王武承嗣。
他问武承嗣：“你可知上次来俊臣掷石头砸中的是谁的名字？正是魏王你呀，他准备告你谋反了。”
这一句话可把武承嗣吓坏了，他也曾经风闻来俊臣在武则天面前说自己的坏话，现在从来俊臣的心腹卫遂忠口里再听说，那就更让他深信不疑了。俗话说先下手为强，后下手遭殃，武承嗣立刻行动起来了。
他先是以带头大哥的身份联络了武家子弟和太平公主，因为当时太平公主已经嫁到武家，算是武家的人。后来为了增强实力，又把皇嗣李旦也拉了进来，最后干脆连禁军将领也给拉上了，说：“来，我们一块儿告倒来俊臣！”
这些人本来不是一个阵营的，彼此有诸多矛盾，但是在痛恨来俊臣这一点上却空前一致。反正来俊臣让大家都人心惶惶，现在正好趁着人多势众，一起打倒他。
联络好了之后，就以魏王武承嗣为首，这些人联名上奏，控告来俊臣，既然这么多人联名上告，那就立案审理。一审起来，这罪名可就多了，行贿受贿、欺男霸女已经算是小意思了，更重要的罪状是来俊臣想要自己做皇帝。
来俊臣知道群臣不敢指责自己，于是有了反叛的图谋，准备诬告皇太子李旦和庐陵王李显与南衙各卫及北衙禁军，一起图谋造反，希望因此得以实现自己的心愿，卫遂忠向武则天揭发了来俊臣的这一个阴谋。
证据是什么呢？来俊臣曾经把自己比作十六国时期的后赵皇帝石勒，这石勒原本是个奴隶，后来从奴隶成为了将军，又从将军晋升为皇帝。来俊臣自比石勒，不就是要谋反吗？谋反就得判处死刑，这个处理意见就上报给武则天了。
武则天怎么处理呢？她对来俊臣还是相当有好感的。她知道来俊臣得罪的人很多，但那都是自己让他干的，至于说来俊臣想要当皇帝，武则天无论如何是不相信的。何况来俊臣还是个美男子，武则天对于美色总是很感兴趣，她想保住来俊臣，因此迟迟没有答复。
然而越是这样，那些告来俊臣的人越害怕，要是来俊臣不死，接下来就得是这些人回家准备棺材去了。宰相，武则天的面首，都被动员起来游说武则天，所以最后武则天不得不处理。
起初来俊臣多次指责武氏诸王、武后的女儿太平公主、张昌宗等人的过错，武后听了，放下来，不采取行动。到这个时候，武氏诸王，都怨恨来俊臣，一起来证实他的罪恶。武后下令在西市将来俊臣处斩，
，当时来俊臣四十七岁，人们都互相庆贺说：“现在终于能够背挨着床，睡个踏实的觉了。”
斩首那天，洛阳城的老百姓倾城而出，都来看热闹。来俊臣人头刚一落地，百姓蜂拥而上，把来俊臣的尸体挖眼剥皮，连五脏六腑都掏了出来。
大家争着挖来俊臣的眼睛，剖开他的心肝，将他剁成肉酱。一会儿功夫，他的肉被割尽，然后又用马踩他的尸骨，最后来俊臣什么也没有剩下，他的家属都被没入官府为奴。
来俊臣把多年的酷吏经验总结成了一部理论书籍《罗织经》，这是一部专讲罗织罪名、角谋斗智的书。它是人类有史以来第一部制造冤狱的经典，更是酷吏中第一部所写的施恶告白。
宰相狄仁杰阅完《罗织经》，全身颤抖，冷汗直流；女皇武则天面对《罗织经》，竟然仰天叹道:“如此的心机，朕未必能胜过他。”
来俊臣之死，归咎于他得志后的忘乎所以，忘记了自己只不过是武则天放出来咬人的一条走狗，政敌死完了，狗也没用了。兔死狗烹就是这个道理，可惜他至死也没有把这个道理弄明白。
来俊臣当权的时候，属托吏部选授了二百多名官员，等到来俊臣死后，有关官员都向朝廷自首。武后责备他们，他们回答说：“我们违犯了陛下的法令，自身被杀；如果违背了来俊臣的意思，就得全家覆灭呀。”武后赦免了他们的罪过。