（一）始于芈姓
源于“芈”（mǐ ）姓，出自春秋时楚国公族“芈潘崇”之后，属于以先祖名字为氏。
（二）以国为姓
以国名为姓，出于姬姓。毕公高的小儿子季孙封邑在潘。春秋后国灭，其子孙不以姬为姓而以国名为姓，奉季孙为潘姓始祖。
（三）源于姚姓
源于姚姓，是上古舜帝姚重华后裔，是以国名为姓。《史记》《中国姓氏》记载，舜帝生于姚墟，因姓“姚”，建都于潘地（今北京延庆）。后将潘地移至今陕西省兴平。商王朝时期，舜帝后裔建有潘子国，到殷商末期被周文王所灭，其子孙遂以国名为姓氏而姓潘。
（四）因地得姓
因地而得姓。水在河南，住在潘水边的人以水地名为姓。下雒城西南故潘城，有以地为氏者。
（五）鲜卑改姓
北魏孝文帝汉化改革时，改鲜卑破多罗氏为单姓潘。清康熙末年，台湾岸里大社（今台湾省台中市神岗）酋长阿穆归顺清廷，被赐姓为潘；光绪时，台湾高山族相率归化清廷，也被赐姓潘（这也就是台湾高山族人大多姓潘的重要原因）。
（六）汉化改姓
源于其他少数民族，属于汉化改姓为氏。在今水族、京族、土家族、彝族、瑶族、仫佬族、回族、壮族、布依族等少数民族中，均有潘氏族人分布。