賽夏族的北群主要分佈於新竹縣五峰鄉 ，南群分佈於 苗栗縣南庄鄉和獅潭鄉。北群和南群是賽夏族最盛大最具特色的矮人祭 (Pasta ' ay)的南北兩祭團。

關於賽夏族矮人祭的由來，最普遍的說法是︰矮人 (ta'ay) 過去住在河對岸，與賽夏族為鄰。矮人幫助賽夏族人作物豐收，也教導他們歌舞祭儀，每年在作物收穫後共行矮人祭典。有一次族人邀矮人參加收穫後祭儀時，一名賽夏婦女為矮人調戲污辱，觸怒賽夏族人，於是設計報復。將通往矮人住處的山枇杷樹橋砍斷一半，坐在上面的 ta'ay 族人落水覆亡，只剩下兩個矮人存活。倖存的矮人 ta'ay ( 男 ) 和 toway ( 女 ) 將叮嚀訓誨賽夏族人之事編入矮人祭歌，傳授給賽夏族人，要他們謹記教訓，並按期舉行矮人祭儀。兩人沿河向東方離去時，邊撕山棕葉邊警告賽夏族人如果不遵從叮嚀教誨，會導致作物歉收，族群滅亡的悲慘結局。矮人離去後，賽夏族將原來的收穫後祭儀變成矮人祭，有慰弔矮人､祈求矮人賜福的用意。

矮人祭歌共十五首，是台灣文化的瑰寶。它的結構龐大，共包含三十四節，二百二十九句。每節以一種植物的尾音押韻，具備完整詩形，是詞意豐富的史詩。每一章節的詞句以三種方式反覆演唱 (1212/233/344 ､ 1212/2323/3434 ､ 12/23/34) ，每一反覆結尾處有一長串虛字。整套祭歌虛字出現的部位與方式極為講究，充份烘托出要表達的情感。整套祭歌唱完要四個多小時。第一晚矮人祭本祭 (kistomal) 歌舞只能唱跳十五首祭歌中的一至五首。南庄是在第一子夜十二時，五峰則是在第二晚十二時推米臼入祭場，族人手牽手肅立面向東方唱第七首 waLowaLon 。第二晚 papat na wasak 是半送歸 ( 送走一半矮人 ) 。第三晚 Papa osa 是送歸之夜歌舞，天明後則進行正式送歸的連串歌舞儀式，唱第十二至十五首歌。

歌舞時所配掛的臀鈴除為伴奏樂器外，另一層意義為︰藉由臀鈴擺動的聲響，囑咐賽夏族人隨時隨地勿忘了矮人的叮嚀、訓誨。