故事发生在清朝道光三十年（1850）的尼山黄土村。村里有家肉铺，铺中所卖的猪羊肉，皆由屠户陈三每日早晨送来。陈三养了一只黄狗，与他形影不离。
一日，肉铺店主开门后，未见陈三送肉。担心耽误生意，店主便到门首张望，却只看到那只黄狗狂奔而来，不见陈三身影。黄狗跑到店主跟前，衔住他的衣服，呜呜哀叫，似有话要说。店主挥手驱赶，黄狗却死活不走。
见它可怜兮兮的模样，店主心动了，问道：“你主人为何没来？莫不是出了事？你是想带我去看他吗？”黄狗听后，低头哀鸣，眼巴巴地看着店主，随后在前缓缓而行。店主跟在后面，走了约三里地，黄狗在一座废弃的旧屋前停下。
这座旧屋不知建于何年，前有小路，后依山林。因当时局势动荡，早已无人居住，荒废成了流浪汉的栖身之所。黄狗并未进屋，而是来到屋后山林边，见店主跟来，它跃入小溪，不多时便叼上一具尸体。店主上前一看，竟是陈三，他双手被绳子捆在身后，绳上还系着一块大石。
店主大惊，急忙跑回村中，喊来里长及村众一同查看。等众人赶到，却见黄狗已蜷曲在陈三尸体旁死去。里长心中感伤，嘱咐众人看守尸体，自己则火速前往县衙呈告。
此时的知县名叫林宇，江苏苏州人，进士出身，此前为邻县县丞，今年刚升任尼山黄土村所在县的知县，地方志称其“公正廉明”。林知县接到里长呈告，立刻带领衙役、仵作前往出事地点勘验。
仵作检验尸体发现，死者口中塞有破布，生前应是被人捆绑并塞口以防喊叫。身上有棍棒伤，但都非致命伤，应是生前遭过殴打。捆绑死者的是常见的麻绳，无法判断来源，身后所系大石也是山林常见之石，经溪水浸泡没留下痕迹。黄狗则是因叼死者上岸时用力过猛，溪水呛入肺中，呼吸不畅而死。
勘验尸体时，林知县仔细观察围观者，试图寻找线索。只见人们表情各异，有好奇者踮脚观看，有怕见死尸者躲在人群后听议论，还有些妇女低声哭泣，其中一名少妇哭得最为伤心，后来被一个男人带走了。
林知县勘验完毕，召集里长及甲长等询问情况，得知此屋废弃已久，鲜有人至，是荒凉之地，常有流浪汉来此避风雨。若不是黄狗引店主前来，他们根本不会知道有人在此遇害。
林知县查看屋中各处，发现屋后有堆废弃木材似被人翻动过，屋前空场有用石块搭成的简易炉灶，从灶内柴灰看，昨天还有人在此烧饭。他不禁怀疑，是不是流浪汉所为？他们居无定所，会不会因自己前来勘验而畏罪潜逃？基于此，林知县采取了两项措施。
其一，封锁道路。尼山黄土村位于一座大山脚下，离县城仅20里地，但交通不便，离最近的镇子也有大约10里地，且当时没有大路，山上居民出山只能走山路。山上居民众多，远离县城，为便于管理，朝廷在该山设有巡检司，有30名弓兵，管辖临县三都及顷山林。
如今发生命案，若凶犯知官府缉捕，必想逃出山，而山路是他们的唯一选择。所以，林知县通知巡检，严防各路口，严禁流浪汉出山，断了凶犯的逃路。
其二，清查流浪汉。按清代制度，流浪汉有专门户籍，称流户。各府县设流头一职，由流浪汉推举，官府认定，负责管理本府县流浪汉，出问题要拿流头是问。林知县找来流头，限他10日内找出曾在旧屋烧饭的流浪汉，否则治罪。
流头虽住县城，但有眼线。在巡检封锁山路后，他很快就查出了那些流浪汉，先将他们送交巡检司看押，再回县城告知林知县。原本限期10天，他仅用4天就完成了任务。林知县褒奖流头，赏了150文钱。流头表面感谢，心里却暗骂知县抠门。
因为流头在流浪汉中有很大势力，流浪汉们要给他月钱，遇雨雪天不能流浪时，他还提供粥饭，他还放高利贷、经营地下赌场、开设妓院、经商盈利，富得很，根本瞧不上这150文钱。他出了县衙，把钱扔给流浪汉们，扬长而去。
林知县提讯那几名流浪汉，让他们交代谋杀罪行。可流浪汉们拒不认罪，任凭林知县软硬兼施，他们坚称不知陈三是谁，还说自己只为混口饭吃，没奢望，不会杀人，若为钱就不会当流浪汉了。
林知县没了主意，只好先将他们关押，然后找来两个亲信，让他们去偷听流浪汉私下的议论。亲信躲在暗处，听到流浪汉们讲村妇孙氏的事，说本是艳遇，却因某人下手过重，好事变坏事。亲信再仔细听，也没听出更多内容，便告知了林知县。
林知县一听
