ไม้ปัดฝุ่นมีประวัติอันยาวนาน ย้อนกลับไปในสมัยราชวงศ์เซี่ยเมื่อ 4,000 ปีที่แล้ว จักรพรรดิเส้าคัง (ต่อมาคือจักรพรรดิเส้าคัง) สังเกตเห็นไก่ฟ้าที่ได้รับบาดเจ็บลากร่างไปข้างหน้า ทิ้งร่องรอยไว้อย่างสะอาดตา จากนั้นทรงใช้ขนไก่ฟ้ามาทำไม้ปัดฝุ่นอันแรกอันเป็นที่มาของไม้ปัดขน เนื่องจากขนไก่ฟ้าอ่อนเกินไปและไม่คงทน Shao Kang จึงใช้แถบไม้ไผ่ บอระเพ็ด และก้านข้าวฟ่างเป็นวัตถุดิบเพื่อสร้างไม้กวาดที่ทนทานมากขึ้นในภายหลัง
ในยุโรป เอเชีย และส่วนใหญ่ของโลก ไม้กวาดที่ทำจากก้านข้าวฟ่างถูกนำมาใช้กันอย่างแพร่หลาย ประธานาธิบดีแฟรงคลินแห่งสหรัฐอเมริกาส่งเสริมการปลูกข้าวฟ่างเพื่อพัฒนาการเกษตร ซึ่งนำไปสู่การนำไปใช้อย่างกว้างขวางทั่วทั้งสหรัฐอเมริกา ไม้กวาดข้าวฟ่างก็ถูกนำมาใช้ในสหรัฐอเมริกาเช่นกัน และอุตสาหกรรมการผลิตไม้กวาดข้าวฟ่างก็เกิดขึ้น แม้กระทั่งทุกวันนี้ก็ยังมีการใช้ไม้กวาดอยู่
ก่อนทศวรรษ 1970 ไม้ปัดฝุ่นเป็นเครื่องมือทำความสะอาดทั่วไปในครัวเรือนส่วนใหญ่ ด้วยยุคสมัยที่เปลี่ยนแปลงและการอัพเกรดเครื่องมือ ไม้ปัดฝุ่นแบบเดิมๆ จึงค่อยๆ จางหายไปจากการใช้ชีวิตประจำวัน ในขณะเดียวกัน เทคนิคการทำไม้ปัดฝุ่น-ซึ่งเป็นงานหัตถกรรมแบบดั้งเดิม ได้รับการระบุว่าเป็นมรดกทางวัฒนธรรมที่จับต้องไม่ได้และได้รับการคุ้มครองในบางภูมิภาค
