相傳過去矮人傳授賽夏人農耕、醫術、及歌舞等，但是矮人常常調戲賽夏族婦女，族人便殺害了他們，存活下來的矮人詛咒賽夏人招逢連年災害、穀物歉收，果然應驗成真。賽夏族人因此年年舉辦「矮靈祭」，祈求矮靈不再降禍於賽夏族人。
分佈在新竹苗栗兩縣交界的山區。以苗栗縣南庄鄉最多，主要在東河、蓬萊、南江三村。其次為新竹縣五峰鄉。總人口約五千人左右。
服飾上的肩旗與臀鈴是賽夏族的特色。臀鈴是賽夏族特有的樂器，可以用銅管或竹管製成。肩旗也是各氏族的代表。肩旗上面寫有家族的姓氏。
住家屋建於山腹坡地或小台地上，築屋材料以竹、木、藤為主。地基為橫式長方形，房屋建於平地，以圓木架塔以竹築垣蓋頂。
