攸县香干的来历，在当地流传着几种说法，其中流传最广的一种，与一位叫蔡伦的人有关。东汉年间，蔡伦在耒阳一带活动，攸县与耒阳相邻，制作豆腐的手艺便顺着渌水传了过来。豆腐做多了，一时吃不完，有人试着把水分压干，再用盐水浸煮，竟得了一种紧实耐嚼的吃法。这便是香干最早的影子。不过，这种说法多见于口耳相传，地方志里并没有确凿的记载。
真正让攸县香干有了名气的，是明清时期。攸县地处湘东南，山多田少，盛产黄豆，几乎家家户户都会做豆腐。当地人发现，用本地的井水点卤做出来的豆腐，质地格外细嫩。再把豆腐切成厚片，用纱布包好，压上石板，挤出多余的水分，然后放到由八角、桂皮、盐和酱油调成的卤水里慢火煮透。煮好的香干色泽酱红，表皮微皱，咬开里面却是白嫩细腻的。这种做法在当地渐渐固定下来，成了逢年过节、红白喜事席面上少不了的一道菜。
到了清代，攸县香干的名声传得更远了。据老辈人讲，当时县城里的南杂铺子会把香干用荷叶包好，走水路运到长沙、湘潭去卖。攸县香干之所以能经得起长途运输，靠的是压得干、卤得透，放上几天也不容易坏。这种耐储耐运的特点，让它在湘东一带的集市上站稳了脚跟。
关于香干在攸县人生活中的位置，还有一层意思值得说一说。过去农家来了客人，临时买肉来不及，就从灶头取几块自家做的香干，切片用辣椒一炒，便是一道体面的待客菜。这种朴素的吃法，后来演变成了湘菜里常见的辣椒炒香干。可以说，攸县香干从一开始就不是什么精细的宴席大菜，而是扎根在寻常日子里的吃食。
如今，攸县香干的制作技艺已经被列入当地的非物质文化遗产名录，做香干的老作坊依然保留着石磨磨浆、柴火煮浆的习惯。一块小小的香干，从黄豆到成品要经过十几道工序，每一道都靠手感和经验。它身上承载的，与其说是一段多么显赫的历史，不如说是湘东农家几百年来过日子的智慧。