湖南郴州（今郴县）人。字敦甫，号云心（也作筠心），乾隆六十年（1795）生。其祖父及父并为举人。陈起诗少时随父读书，及长，有志经世之学。嘉庆十五年(1810)举秀才。十八年寄寓岳麓书院，与魏源结识。道光五年(1825)乡试中举人第三名。九年成进士，授吏部考功司兼稽勋司主事和吏部则例馆纂修。时魏源亦官京师，二人时常评论时政，讲求天下利病。曾建议清廷整顿盐政,兴修水利，并对山东德州至东昌之运河、汶泗河及运道提出整修方案。
道光十一年（1831）,湖南赵金龙领导的瑶民起义爆发,清廷震动。陈起诗闻讯，写《平瑶议》一篇，建议清廷“团练乡勇”，“以瑶治瑶”。此文为当时士大夫所重视，后被魏源收入《皇朝经世文编》中。翌年,与魏源同在两江总督陶澍幕,协助改革淮北盐政,试行票盐法。
道光十九年（1839），陈起诗递升为吏部员外郎，次年转记名御史。以其性情刚直,不饲私惰，人称“铁面御史”。曾奏劾吏部尚书汤金钊“七不正大光明”，结果以“司员慢上”被革职。由是郁闷成疾，于二十一年十二月十一日(1842年1月21日)病死郴州。
陈起诗学识广博，对天文舆图，财赋兵阵，中西算法,佛老家言都有研究。为当时名学者何绍基、黄爵滋、汤鹏等所佩服。其诗流畅清丽，明白易懂。与魏源、左宗植、汤鹏并称为“湖南四杰”(一说为“湖南四才子”)。
著有《孔子年谱》、《四书求是录》、《补全唐诗选辑》、《罗经图考》、《四删诗》和古文百篇。今《沅湘耆旧集》存其诗65首,《湖南文征》存文4篇。