在陆先生印象中，次恺“个子不高，还有点偏矮，开始谢顶，戴着半新不旧的黑边眼镜，头发如蒿，衣冠十分俭朴，似乎不修边幅，只有厚厚的嘴唇上淡淡的八字胡，修剪得一丝不苟”。次恺一直单身，也没有什么亲戚朋友来找他。次恺显得孤傲，与同事和邻居并不怎么来往，“微微一揖，算是招呼，并不多语”。“他自命知识分子，对周围凡夫俗子不屑一顾，走在弄堂里，眼光笔直往前，神情俨然，睥睨一切。”“除了上课，平时几乎都缩在自己房间里，门是一年四季都闭着，暗暗的，谁也不清楚他做什么。”
陆文说，次恺曾和开木器行的同乡陈先生提及去拜访过傅雷。和次恺接近最多的，是胡山源的夫人。次恺叫她姐姐。胡夫人是票友，闲时喜欢在窗边唱一段，次恺是唯一观众。“兴致来时也会哼几句，但不成腔调，或打几下小锣，也不到点。”曾有一位叫三珠的校工，见次恺无人照顾，帮他洗衣物、收拾房间，但她一走，次恺照例是门一关，继续活在自己的世界。
次恺喜欢喝点小酒。“通常，他是一个人喝闷酒，天热时，坐在树下，他会揭开上面几粒纽子，撸撸头颈，靠在椅背上，享受习习凉风，望着满天星斗，嘴里含混不清地念着诗词歌赋，似乎若有所思，似乎自我逍遥，颇有魏晋之风。”后来，胡山源调走当教授去了，同乡陈先生被送到农场改造，三珠嫁了他人。“从此，次恺彻底孤寂一人，课也很少，后来干脆不上课了，终日以酒为伴，足不出户。”