ภาวะตาบอดสีเกิดจากความบกพร่องของเซลล์รับสีที่อยู่ในดวงตา บริเวณด้านหลังของดวงตาในส่วของจอประสาทตาจะมีเซลล์ประสาทที่มีความไวในการรับแสง คือ เซลล์รูปกรวย และเซลล์รูปแท่ง ในเซลล์รูปกรวยจะมีเซลล์รับสี  ซึ่งมีปฏิกิริยาตอบสนองต่อคลื่นแสงที่มีความยาวคลื่นต่างๆ กัน เมื่อเซลล์รูปกรวยมีเซลล์รับสีปกติ การมองเห็นสีก็ปกติ แต่หากมีเซลล์รับสีที่ผิดปกติไปแม้เซลล์เดียว การรับรู้สีก็จะผิดเพี้ยนไปด้วย

ในกรณีที่ไม่มีเซลล์รับสีในเซลล์รูปกรวยเลย เรียกว่า ภาวะตาบอดสีทุกสี  แต่เป็นภาวะที่พบได้น้อยมาก คนที่เซลล์รับสีเขียวบกพร่อง จะตาบอดสีแดง/เขียว ซึ่งทำให้ไม่สามารถแยกความแตกต่างของเฉดสีแดง, น้ำตาล, เขียว และส้มได้
สาเหตุการเกิดภาวะตาบอดสีมีหลายสาเหตุ แต่สาเหตุที่พบได้บ่อยคือ กรรมพันธุ์ ส่วนสาเหตุอื่นๆ ของภาวะตาบอดสี เกิดได้จาก

1. โรคเบาหวาน
2. โรคจอประสาทตาเสื่อมในผู้สูงอายุ (AMD)
3. โรคปลอกประสาทเสื่อมแข็ง (MS)
4. ภาวะความบกพร่องทางสายตาอื่นๆ เช่น ต้อกระจก (เลนส์ตาเป็นฝ้ามัว) หรือต้อหิน (กลุ่มอาการผิดปกติของดวงตาที่ทำให้เส้นประสาทตาถูกทำลาย)
5. การบาดเจ็บที่ดวงตา
6. ความผิดปกติทางระบบประสาท เช่น โรคพาร์กินสัน

ในการทดสอบตาบอดสี ทำได้โดยการใช้แผ่นภาพทดสอบตาบอดสี หรือใช้วิธีการทดสอบอย่างละเอียดเพื่อดูว่าเป็นตาบอดสีประเภทใด และมีความรุนแรงระดับไหน