希尔顿丘比特给福尔摩斯寄了一张画着几个跳舞小人的纸条，随后乘火车上门求助。希尔顿住在诺福克郡马场村庄园，去年去伦敦参加女王即位六十周年时，爱上住在同一间公寓的美国小姐埃尔茜帕特里克。仅交往不到一个月，希尔顿就和埃尔茜登记结婚，之后埃尔茜跟着希尔顿回到马场村庄园。
希尔顿家是诺福克郡的名门，埃尔茜却有着神秘的过往，并不愿意和希尔顿分享。婚前埃尔茜向希尔顿保证自己没有做过任何有愧于心的事，但如果希尔顿不能信守诺言不打听她的过去，她宁愿分手。希尔顿是个绅士，和埃尔茜过着宁静幸福的生活，直到一个月前，有人从美国寄信给埃尔茜，使她心烦意乱。
一周前希尔顿在家里的窗台上看到用粉笔画的跳舞小人，他把窗台擦干净，埃尔茜知悉此事，让希尔顿如果再看到跳舞小人，一定要让自己看看。结果一天前希尔顿又在日晷仪上找到一张画着跳舞小人的纸条。埃尔茜看到纸条就昏倒了，希尔顿虽然不能直接问妻子事件原委，又很担心她陷入恐惧不安，就想到求助福尔摩斯。
福尔摩斯面对着一张纸条，也是一筹莫展，他叮嘱希尔顿一有新情况一定告知。两周后希尔顿再次来找福尔摩斯，还带来三张新的跳舞小人图。
第一张：日晷仪上的跳舞小人
第二张：工具房门上的跳舞小人
第三张：又画在工具房门上的跳舞小人
第四张：日晷仪上用鹅卵石压着的跳舞小人（和第三张完全一致）
接二连三出现跳舞小人，希尔顿决定熬夜守候，抓住对他和埃尔茜恶作剧的人，果然，他们看到一个黑影出现在工具房前。这次工具房门上的小人排列和之前的第三第四张相同，但第二天一早希尔顿又在工具门原有的小人后面加了几个新的小人。
第五张：工具房门上新加的跳舞小人
希尔顿说完新的发展连夜赶回庄园，和埃尔茜一起面对可能出现的新情况，福尔摩斯开始破解纸条的秘密。第三天晚上，希尔顿送来日晷仪上的新的跳舞小人图。
第六张：日晷仪上的跳舞小人
福尔摩斯知道事情紧急，当天的末班车已经发车，只能和华生乘第二天的头班车去诺福克郡。可是他们还是晚了一步，希尔顿被枪杀，埃尔茜举枪自尽，幸好只是受伤，被送去医院抢救。
福尔摩斯找人送信去附近的埃尔里奇农场，上面画的也是跳舞小人，这是福尔摩斯给凶手的诱饵。守株待兔等凶手上门时，福尔摩斯向华生和当地的警长解释了破译跳舞小人密码的思路。福尔摩斯认为所有的跳舞小人都是密码，代表一个字母。其次他需要将每种不同的姿势与26个字母联系起来，而字母频率是一个重要的参考。在书写文字中，出现频率最高的字母是E，在文字中的频率是13%，在字典中的频率是11%。文字习惯里，出现频率第二至七位的分别是字母T（9.1%），A（8.2%），O（7.5%），I（7%），N（6.7%），S（6.3%）。
希尔顿交给福尔摩斯的第一张图中有15个小人，双腿岔开，双手上举的小人共出现四次；而第五张，工具房门上新加的小人只有4个，却出现了同样姿势的小人两次。假设这个姿势的小人就是英文习惯里最常用的字母E，虽然从第一张图中确认其他出场频率高的究竟是T，A，O，I，N，S中的几个很费时，可是第五张图由五个字母组成的词中尚有两个E，?E?E?，类似的单词就有限了。符合条件的有切断sever，发热fever，永不never，操纵lever，等级level，当然还有更多词诸如aedes，bedel，bedes，bedew，ceres，fewer，leger，sewel等等，但是如果单加一个词就能表示独立意思，应当是日常用语，福尔摩斯推测这个词更可能是永不never。依循这个逻辑，左侧手叉腰腿抬起，右侧手上伸的小人代表字母N，侧身抬起一条腿的小人代表字母V，双手上举右腿与地面平行的小人代表字母R。
第一张：日晷仪上的跳舞小人
第五张：工具房门上新加的跳舞小人
N E V E R
永不。
有些姿态一样的小人举着小旗子，福尔摩斯把旗子作为断句的空格或标点符号，如逗号，句号，感叹号等等。第三张图就成为分别由四个字母和五个字母组成的两个词及一句或两句话。五字母单词的首尾字母都是E，这样的单词有老鹰eagle，怪异eerie，兴高采烈elate，省略elide，埃尔茜Elsie，精英elite，私奔elope，躲避elude，主持人emcee，接踵而至ensue，擦除erase，侵蚀erode，练习曲etude，激发evoke，流放exile。因为第五张图初步确认了N，V，R的对应小人，可以排除接踵而至ensue，擦除erase，侵蚀erode，剩下的词中，福尔摩斯认为最有可能的是女主人的名字埃尔茜Elsie，毕竟所有的跳舞小人的信息似乎都让埃尔茜非常困扰。于是字母L，I，S相应的跳舞小人也有了线索，右侧手叉腰，左侧腿抬起手曲肘上举的小人代表字母L，身体朝右侧倾斜，双手上举，左腿抬起的小人代表字母S，双手上举，左腿与地面平行抬起的是字母I。
第三张图中的第一个四字母单词以E结尾，应当是一个动词，呼吁埃尔茜做出某个行动，福尔摩斯确信这个词是来come。双腿直角蹲下，一手平伸的小人是字母C，双手呈135度角上伸，左腿屈膝抬起的小人是字母O，双腿直角蹲下，双手呈135度角上伸的小人是M。
第三张：又画在工具房门上的跳舞小人
C O M E，E L S I E
来吧，埃尔茜。
将已知的N，V，R，C，O，M，L，I，S加进第一张纸条中，可以得到如下字串。
第一张：日晷仪上的跳舞小人
□
M, □E R E, □ □ E, S L □ N E □
两个字母组成的单词且以字母M结尾的，能成词的仅有接第一人称主语的谓语是am。这说明双手135度上伸，右腿屈膝的小人代表字母A。
第一张：日晷仪上的跳舞小人
A
M, □ ERE, A □ E, S L
A N E □
四个字母的单词以ERE结尾的常用词仅有这里here和第一人称复数主语的过去时谓语were。结合第一张纸条的语境，第二个单词应当是这里here。双腿并拢站立，双手135度上举的小人是字母H。
第一张：日晷仪上的跳舞小人
A
M, HE R E, A □ E, S L
A N E □
第一张纸条的的意思是：“我来了。”其后跟着的应该是一个名字，女主人埃尔茜熟知的人。福尔摩斯拼出的人名是亚伯 斯莱尼Abe Slaney。侧身扎马步的小人代表字母B，侧身扎马步同时手向后伸的小人代表字母Y。
第一张：日晷仪上的跳舞小人
A
M, H E R E, A B E, S L
A N E Y
我来了，亚伯斯莱尼。
现在字母A，B，C，E，H，I，L，M，N，O，R，S，V，Y都找到对应的小人，第二，第六张纸条的小人可以推出更多信息。
第二张：工具房门上的跳舞小人
A □, E L R I □ E S
福尔摩斯试了很多次，只有倒立双手伸开的小人为字母T以及倒立左手伸出的小人为字母G才能使第二张纸条的词有意义。
A T, E L R I G E S
（我）在埃尔里奇。
第六张：日晷仪上的跳舞小人
E L S I E, □ R E □ A R E, T O,
M E E T, T H Y, G O □
第六张上继续填入字母T后，意思已经相当明确，剩下的两个字母分别是左手上举左脚与地面平行的字母P，以及倒立右手伸出的字母D。
第六张：日晷仪上的跳舞小人
E L S I E, P R E P A R E, T O,
M E E T, T H Y, G O D
埃尔茜，准备去见上帝。
重新整理一下希尔顿见过的所有跳舞小人。
第一张：日晷仪上的跳舞小人
A
M,HE R E,A B E, S L
A N E Y
我来了，亚伯斯莱尼。
第二张：工具房门上的跳舞小人
A T, E L R I G E S
（我）在埃尔里奇。
第三张：又画在工具房门上的跳舞小人
C O M E，E L S I E
来吧，埃尔茜。
第四张：日晷仪上用鹅卵石压着的跳舞小人（和第三张完全一致）
第五张：工具房门上新加的跳舞小人
N E V E R
永不。
第六张：日晷仪上的跳舞小人
E L S I E, P R E P A R E, T O,
M E E T, T H Y, G O D
埃尔茜，准备去见上帝。
名叫亚伯的人先用跳舞小人给埃尔茜留言说“我来了”，没有回应。第二次亚伯留言：“我在埃尔里奇。”显然依旧没有得到埃尔茜的消息。第三次第四次亚伯邀埃尔茜和自己见面：“来吧，埃尔茜。”第四次亚伯深夜出现被希尔顿和埃尔茜见到背影，第五次新加的留言是埃尔茜的作品，她对亚伯的邀约回复说：“永不。”永远不会去见亚伯。亚伯被激怒，留下对埃尔茜的死亡威胁。
最后亚伯来到马场村庄园，与希尔顿和埃尔茜正面冲突，希尔顿被亚伯用枪击中，当场身亡，痛不欲生的埃尔茜举枪自尽。
福尔摩斯联系美国方面，得知亚伯和埃尔茜的父亲都是芝加哥一个黑帮组织的成员，埃尔茜对父亲和亚伯的所作所为了解不多，曾和亚伯订婚。但埃尔茜发现父亲和未婚夫的真实身份后与他们绝交，独自来到英国。不甘心失去埃尔茜的亚伯一路追到英国，用埃尔茜父亲发明的密码与埃尔茜联系，造成不可挽回的悲剧。
福尔摩斯让人送去的信，就是用跳舞小人密码写下的。
C O M E，H E R E, A T, O N
C E
马上过来。
亚伯杀死希尔顿后立刻逃走，不知道埃尔茜自杀，见到跳舞小人的信，以为埃尔茜要他见面，毫无准备地去庄园，被福尔摩斯和警长擒获。