离开了天津。
1909年，英国大力士奥彼音（实为在一个英国马戏团工作，并不是大力士）在上海摆下擂台，讥讽中国人是“东亚病夫”，上海民众十分不满，但又无人敢应战。农劲荪从报上得知此消息，遂向上海知名人士、同盟会员、革命党人陈其美推荐了霍元甲。霍元甲一到上海，上海各大报纸用大号字体刊登消息。霍元甲挑战奥彼音，奥和霍约定比武中不得使用指戳、足勾等中国武术技法，并约期在张园公开比赛。但到了比赛时间，却不见他的踪影，原来奥彼音已逃之夭夭。
张园擂台比武虽没打成，但在上海掀起了习武热潮，各大学校蜂拥而至，邀请霍元甲及其弟子去讲习武术。这一时期，有一人对霍元甲影响很大，促成了霍元甲从讲求传统武德，向武术救国转变。这个人，就是霍元甲青年时代的知己农劲荪。
霍元甲是在脚行干活时认识农劲荪的。当时的农劲荪是孙中山手下的革命者，在天津开办怀庆药栈，以采药为由掩护革命。霍自正告诉记者，农劲荪早年留学日本，通外语，有学问，也爱好武术。“孙中山希望他结交一些武术名家，为推翻满清统治作准备，而曾祖父又渴望学知识，两人一见如故，成了莫逆之交。”
1910年6月1日，霍元甲在农劲荪等人帮助下，在上海创办了“中国精武体操会”（后改名精武体育会）。霍自正说，在寻求救国的道路上，霍元甲迈出了很不容易的两步：“第一是打破家规，开始收外姓人为徒。霍家七代家传绝技迷踪拳，向来是不传给外姓人的，为救国，曾祖父破了家规；第二是把迷踪拳改为迷踪艺，让花哨的套路变得更实用，以便让人们能够尽快掌握要领，学会防身。”
迷踪艺以霍家绝技为基础，又囊括了各派之精华。霍自正说：“此拳不难学，但是极难练，柔中有刚，迈步如猫，急如闪电。与人交手时，往往对方还没有看清门道就被击倒，令对手眼花缭乱，迷失踪迹，因此得名。”孙中山先生对霍元甲将迷踪拳公之于世的高风亮节非常赞许，亲笔写下了“尚武精神”四个大字，赠送给精武体育会。
1910年9月，日本柔道会对霍元甲吓跑俄、英大力士之事，很不服气，便挑选了十几名高手，找霍元甲较量。霍元甲先让他的徒弟刘振声上场，刘以静制动，连胜对方五人。日领队非常恼火，自恃技艺纯熟，点名与霍元甲较量。双方刚一交手，日领队便知对手厉害，他企图黑手伤人，但被霍识破。霍元甲虚晃一招，用肘急磕其臂，日领队骨断筋折，只好认输。
当时上海蓬莱路一带为日侨聚居之地，日本柔道会得知霍元甲勇挫俄、英两国大力士，今又创立了“精武体操会”，很不服气,特从国内选派十几名武术高手，由柔道会长亲自率领来华，以研究为名，请霍元甲等人来技击馆比武，双方各自择定公证人。
比赛开始时，霍元甲先命徒弟刘振声出阵，令其采用诱敌之法，寻机取胜，刘振声上场后，稳如泰山一般，日方人员认为有机可乘，使用多种招数，竟没有撼动他。即使日方派出其力气最大者上阵，也被刘振声一脚踢得倒地不能动弹。刘振声以静制动，以逸待劳，连胜日方五人。日本领队见此情形非常恼火，便出阵向霍元甲挑战，二人一经交手，未经几个回合，日本领队便领教到霍元甲的厉害，于是企图暗中伤人，谁知霍元甲已看出破绽，虚显一招，当场用肘将其臂骨磕断。日方队员见此情形，便蜂拥而上，当即被中方公证人制止。这时，日本人改变了策略，在比赛后举行宴会招待霍元甲。席间听闻霍元甲患有呛咳症，并在此次比武中也有外伤，就介绍一名叫秋野的医生为霍元甲治病。平生胸怀坦荡的霍元甲毫无怀疑之心，欣然接受。并留住虹口白渡桥的秋野医院。霍元甲服药后，病情不但没有好转，反而逐渐恶化。此时精武会欲接霍元甲出院，秋野百般阻挠，后经多方周旋才出院，由精武会同仁陈子正救治，因中毒太深而无药可救，于1910年9月14日长逝于上海精武体育会。霍元甲的徒弟和朋友们拿着霍元甲每日吃的药去化验，才知是一瓶慢性烂肺药，明白了这是日本人暗下的毒手。逝世时年仅42岁。
在民国时期的传说和传记中，对霍元甲的武功有这样的描述：可以在铁路轨道一侧，纵身从行进间的旧式火车两截车箱之间一跃而过，跳至另一侧而毫发无伤。在民国的小人书中，有这样的故事：霍元甲小时体弱多病，一次从河中钓上一只大鳖，熬汤吃掉，于是“一夜成伟男”，成为高大强壮的伟男子。
燕子门，燕子门的创派人是燕子李三李云龙，该门派以轻功暗器着称。
