西方许多国家对休闲渔业的理解主要是建立在与商业渔业区分的基础上，他们认为，休闲渔业是指不以渔获物获利的渔业捕捞行为。这种界定是因为西方国家的休闲渔业类型相对单调、范围比较狭窄，主要是以各种形式的钓鱼活动为主。 我国对休闲渔业的定义比较多样化，更加强调休闲渔业的旅游娱乐作用。最为广泛传播的是台湾著名经济学家江荣吉教授对休闲渔业下的定义，他认为，休闲渔业就是利用渔村设备、渔村空间、渔法渔具、渔业经营活动、自然生物、渔业自然环境及渔村人文资源，经过规划设计，以发挥渔业和渔村休闲旅游上的功能，增进国人对渔村与渔业之体验。
江教授的这一定义提出较早，是在 1992年提出的，他是国内比较早给出休闲渔业定义的学者。之后虽然对休闲渔业也有些不同的定义，但是都没有能超越江教授的。
休闲渔业的关键词是渔业，休闲作为渔业的形容词，是起到描述或限定渔业内涵作用的修饰词汇。休闲活动要建立在渔业资源的基础上才能称之为休闲渔业，它可以是渔业捕捞生产体验，也可以是海鲜品尝、娱乐休闲，渔业资源旅游、渔村观光等等。西方发达国家的休闲渔业发展无疑是成功的，适合西方国家现阶段国情的，但是这种以游钓业为主的休闲渔业范围过于狭窄，某种意义上局限了对休闲渔业的界定。因此本人认为，除了游钓业、旅游渔业，也应该包括观赏渔业、水族馆等其他与水生动植物、渔业、渔村、渔民相关的休闲娱乐活动，以及由此产生形成的行业和产业都可列入休闲渔业的范畴。
大约一万多年前，人类进入农耕时代，人们只能腾出 10%的时间用于休闲；在公元前 6000 年到公元 1500 年期间，当工匠和手工业者们出现时，有 17%的时间可用于休闲；到 18 世纪初，机器化革命使闲暇时间增至 23%；而到 20 世纪 90年代，电力机械使闲暇时间增到 41%；在 21 世纪，新技术的发展使人们的闲暇时间有希望增加到 50%。闲暇时间的增加是休闲活动发展的关键性因素，休闲渔业随着人们闲暇时间的增加不断发展。
历史上的休闲渔业主要内容就是钓鱼。远在新石器时代，我们中华民族的祖先就已经会钓鱼了，这可从地下发掘出来的这个时期的骨质渔钩所证实。公元前300 多年的哲学家庄周执着于钓鱼，把钓鱼看得比功名利禄都重要。东汉著名政治家严子陵弃官为民，隐居于富春江畔，终年以钓鱼为乐。
唐代社会比较安定，人民生活富裕，旅游钓鱼的人就更多了，一大批著名的文学家、诗人如韩愈、柳宗元、杜甫、白居易、李白，不仅个个文才高超，而且人人都喜欢钓鱼，留下许
多有关钓鱼的不朽名句。留下诗作的虽然只是一些文人学士，但参与钓鱼活动的却包括各阶层的平民百姓，而且达官显宦甚至贵至皇帝也都加入了垂钓的行列。历史上还留下许多著名的钓鱼台，可见钓鱼这项活动在我国的广泛性。
观赏鱼的养殖在我国也有悠久的历史。早在公元前 1100 年前，国人就开始进行水产养殖，金鱼最早就是在我国培育成功的。据史料记载，唐初就有人将金黄色的卿鱼进行人工养殖；南宋的开国皇帝宋高宗曾搜集全国各地名贵金鱼，在杭州建了个鱼池，用来观赏；金鱼养殖的鼎盛时期在明朝，现存的很多名贵金鱼品种就是在明朝出现的。
现代休闲渔业二十世纪六十年代诞生在拉丁美洲的加勒比海，之后在一些经济较为发达的沿海国家和地区（如美国、日本、澳大利亚、加拿大和欧洲等）迅速崛起。现今，休闲渔业已经成为解决很多国家解决国民就业问题和增加国民收入的重要途径，被各国所重视。其实现代休闲渔业也经历过萌芽、诞生、发展、繁荣等阶段。
随着社会经济的发展，人们生活水平的提高，一部分上层人士为了放松身心或达到健身的目的，进行垂钓娱乐或养鱼观赏。当时由于受交通工具的局限，人们只能到住所附近的水域岸边钓鱼，养鱼也一般只是家庭个人行为，只供家人观赏。
上层人士的钓鱼行为使钓鱼这项活动在社会上开始风靡，参与钓鱼的人越来越多。为了增加该项活动的趣味性，有人开始组织钓鱼比赛。钓鱼比赛不仅推广了钓鱼这项活动，也促使了休闲渔业的诞生。当钓鱼比赛开始成为盈利活动，现代休闲渔业也随之诞生了。
二十世界八九十年代，因为全球范围的渔业资源衰退，人们开始意识到保护渔业资源的重要性，许多国家开始实施渔业捕捞限额，他们也开始意识到休闲渔业能起到有效保护渔业资源的作用，纷纷开始大力发展休闲渔业，休闲渔业进入蓬勃发展期，模式从早期单一的钓鱼为主，发展为以家庭形式在湖泊、河流或近海海域中开展的放松身心、休闲度假的娱乐活动。与此同时，休闲渔业开始在发展中国家兴起。
进入二十一世纪休闲经济飞速增长，物质的极大丰富更刺激了人们对精神生活的追求，人们在闲暇时间最愿意干的事就是走出家门，亲近自然。各个国家的政策也更多地倾向于发展绿色产业，属于绿色产业的休闲渔业迎来了它的繁荣期。行业规模不断扩大，从业人员不断增加。在美国，休闲渔业已经超过常规渔业，占渔业经济比重的 60%。