刘备遣散士兵，只带了二十多名亲信，与关、张到安喜县就任。任职期间，与百姓秋毫无犯，深得民心。刘备每天与关、张同吃同住，形影不离，关、张也总是侍立在刘备身边。
任职不满四个月，朝廷降旨，凭军功出任地方长官的都要被解职。刘备担心自己也会被遣散。恰逢督邮来此巡视，刘备出城迎接，施礼问安。督邮高坐马上，只稍抬马鞭做回礼。关、张二人气愤异常。到了馆驿，督邮径直坐到主位上，刘备站在阶下。很长时间后，督邮才敷衍发问：“刘县尉什么出身啊？”刘备答道：“我先｛且乃中山靖王。我讨伐黄巾，积累了点军功，得以出任此职。”没等说完，督邮就大喝：“你竟然冒充皇亲，虚报功绩！朝廷降诏，就是要淘汰你这样的官吏！”刘备回到县衙，与县吏商议。县吏说：“督邮是在索要贿赂。”刘备说：“我哪有财物送他！”次日，督邮把县吏找去，逼迫他指控刘备祸害百姓。刘备几次前去见督邮，都被役卒拦住。