相傳過去矮人傳授賽夏人農耕、醫術、及歌舞等,但是矮人常常調戲賽夏族婦女,族人便殺害了他們,存活下來的矮人詛咒賽夏人招逢連年災害、穀物歉收,果然應驗成真。賽夏族人因此年年舉辦「矮靈祭」,祈求矮靈不再降禍於賽夏族人。
分佈在新竹苗栗兩縣交界的山區。以苗栗縣南庄鄉最多,主要在東河、蓬萊、南江三村。其次為新竹縣五峰鄉。總人口約五千人左右。
服飾上的肩旗與臀鈴是賽夏族的特色。臀鈴是賽夏族特有的樂器,可以用銅管或竹管製成。肩旗也是各氏族的代表。肩旗上面寫有家族的姓氏。
住家屋建於山腹坡地或小台地上,築屋材料以竹、木、藤為主。地基為橫式長方形,房屋建於平地,以圓木架塔以竹築垣蓋頂。