การทดสอบการใช้งาน

การทดสอบการใช้งานเป็นการประเมินส่วนต่อประสาน (interface) โดยการสังเกตผู้ใช้ที่เป็นตัวแทนขณะที่พวกเขาพยายามทำงานที่เหมือนจริง เพื่อระบุว่าพวกเขาประสบปัญหา สำเร็จ หรือผิดพลาดตรงไหน

Definition

การทดสอบการใช้งานเป็นวิธีการประเมินที่ผู้ใช้ที่เป็นตัวแทนทำงานที่เป็นตัวแทนกับระบบ ในขณะที่ผู้สังเกตการณ์บันทึกพฤติกรรม ข้อผิดพลาด และความคิดเห็นของพวกเขา เพื่อค้นหาปัญหาการใช้งานและวัดประสิทธิภาพ

Scope

หัวข้อนี้ครอบคลุมการประเมินเชิงประจักษ์ของส่วนต่อประสานกับผู้ใช้จริง: การวางแผนงานทดสอบ, การคัดเลือกผู้เข้าร่วมที่เป็นตัวแทน, การดำเนินการทดสอบแบบคิดดัง (think-aloud) และการสังเกต, และการรวบรวมทั้งข้อมูลประสิทธิภาพและรายงานด้วยวาจา นอกจากนี้ยังกล่าวถึงการทดสอบแบบก่อร่าง (formative testing) เพื่อค้นหาและแก้ไขปัญหา และการทดสอบแบบสรุป (summative testing) เพื่อวัดประสิทธิภาพ รวมถึงข้อพิจารณาเกี่ยวกับขนาดตัวอย่าง หัวข้อนี้ไม่ครอบคลุมวิธีการตรวจสอบโดยผู้เชี่ยวชาญ เช่น การประเมินตามหลักฮิวริสติก (heuristic evaluation) ซึ่งจะกล่าวถึงแยกต่างหาก และไม่ครอบคลุมการวิเคราะห์ทางสถิติของตัวชี้วัด ซึ่งกล่าวถึงภายใต้หัวข้อตัวชี้วัดและการวัดการใช้งาน

Core questions

• จะเลือกงานทดสอบที่เหมือนจริงและผู้เข้าร่วมที่เป็นตัวแทนได้อย่างไร?
• โปรโตคอลการคิดดัง (think-aloud protocol) คืออะไร และให้ข้อมูลประเภทใด?
• การทดสอบการใช้งานแบบก่อร่าง (formative) และแบบสรุป (summative) แตกต่างกันอย่างไรในวัตถุประสงค์?
• ต้องใช้ผู้เข้าร่วมกี่คนจึงจะพบปัญหาการใช้งานส่วนใหญ่?

Key concepts

• งานที่เป็นตัวแทน
• ผู้ใช้ที่เป็นตัวแทน
• โปรโตคอลการคิดดัง
• การทดสอบแบบก่อร่างเทียบกับแบบสรุป
• ความสำเร็จและการทำงานเสร็จของงาน
• การอำนวยความสะดวกและผลกระทบของผู้ดำเนินรายการ
• ขนาดตัวอย่าง
• การสังเกตและการบันทึก

Key theories

โปรโตคอลการคิดดัง

การขอให้ผู้ใช้พูดความคิดของตนออกมาดังๆ ขณะทำงานเป็นการแสดงเหตุผลและจุดที่สับสนของพวกเขาออกมาภายนอก การวิเคราะห์รายงานด้วยวาจาของ Ericsson และ Simon ได้กำหนดว่าเมื่อใดที่รายงานดังกล่าวสะท้อนเนื้อหาของหน่วยความจำใช้งานได้อย่างถูกต้อง

การทดสอบแบบก่อร่างด้วยตัวอย่างขนาดเล็ก

การศึกษาเชิงประจักษ์ชี้ให้เห็นว่าผู้เข้าร่วมจำนวนน้อยสามารถค้นพบปัญหาการใช้งานส่วนใหญ่ได้ ซึ่งสนับสนุนการทดสอบซ้ำๆ ด้วยรอบเล็กๆ หลายรอบ แทนที่จะเป็นการศึกษาขนาดใหญ่เพียงครั้งเดียว

การวางแผนและการอำนวยความสะดวกในการทดสอบ

การทดสอบการใช้งานที่มีประสิทธิภาพขึ้นอยู่กับงานที่เลือกมาอย่างดี ผู้อำนวยความสะดวกที่เป็นกลางซึ่งหลีกเลี่ยงการชี้นำผู้เข้าร่วม และการบันทึกอย่างระมัดระวัง เพื่อให้ความยากลำบากที่สังเกตได้สะท้อนถึงส่วนต่อประสานมากกว่าการตั้งค่าการทดสอบ

Clinical relevance

การทดสอบการใช้งานเป็นวิธีที่ตรงที่สุดในการดูว่าคนจริงใช้งานผลิตภัณฑ์อย่างไร และมีการนำไปใช้อย่างกว้างขวางในการพัฒนาซอฟต์แวร์ เว็บ และอุปกรณ์ต่างๆ ในพื้นที่ที่มีการควบคุม เช่น อุปกรณ์ทางการแพทย์ การทดสอบการใช้งานแบบสรุปให้หลักฐานว่าผู้ใช้ที่ตั้งใจไว้สามารถใช้งานระบบได้โดยไม่มีข้อผิดพลาดที่เป็นอันตราย

History

การทดสอบการใช้งานได้กลายเป็นหัวใจสำคัญของการพัฒนาซอฟต์แวร์ในช่วงทศวรรษ 1980 และ 1990 โดยอาศัยประเพณีการทดสอบปัจจัยมนุษย์ งานของ Ericsson และ Simon ในปี 1980 ได้วางรากฐานการใช้รายงานด้วยวาจา และคู่มือเชิงปฏิบัติโดย Dumas และ Redish และคนอื่นๆ ได้กำหนดมาตรฐานวิธีการวางแผนและดำเนินการทดสอบ การถกเถียงเกี่ยวกับขนาดตัวอย่างที่เหมาะสม ซึ่งริเริ่มโดย Virzi และ Nielsen ได้กำหนดแนวปฏิบัติในการทดสอบแบบก่อร่างในปัจจุบัน

Debates

ผู้ใช้จำนวนเท่าใดจึงจะเพียงพอต่อการค้นหาปัญหาการใช้งาน?

การศึกษาที่มีอิทธิพลได้โต้แย้งว่าผู้ใช้จำนวนน้อยสามารถเปิดเผยปัญหาได้ส่วนใหญ่ แต่ผู้วิจารณ์ตั้งข้อสังเกตว่าสิ่งนี้ขึ้นอยู่กับความถี่ของปัญหาและการครอบคลุมงาน ดังนั้นอาจจำเป็นต้องมีการทดสอบที่ใหญ่ขึ้นหรือทำซ้ำสำหรับระบบที่ซับซ้อนหรือข้อเรียกร้องแบบสรุป

Key figures

• Jakob Nielsen
• Joseph Dumas
• Janice Redish
• K. Anders Ericsson
• Herbert A. Simon

Seminal works

• nielsen1993
• ericsson1980
• virzi1992

Frequently asked questions

วิธีการคิดดัง (think-aloud method) คืออะไร?

ในวิธีการคิดดัง ผู้เข้าร่วมจะถูกขอให้พูดสิ่งที่พวกเขากำลังคิดออกมาดังๆ ขณะที่พวกเขากำลังทำงาน สิ่งนี้จะเปิดเผยความคาดหวัง ความสับสน และเหตุผลของพวกเขาแบบเรียลไทม์ ช่วยให้ผู้ประเมินเข้าใจไม่เพียงแค่ว่าผู้ใช้ล้มเหลวตรงไหน แต่ยังรวมถึงสาเหตุด้วย

การทดสอบการใช้งานจำเป็นต้องมีห้องปฏิบัติการพิเศษหรือไม่?

ไม่จำเป็น แม้ว่าห้องปฏิบัติการเฉพาะที่มีอุปกรณ์บันทึกจะเป็นประโยชน์ แต่การทดสอบการใช้งานที่มีคุณค่าสามารถทำได้ในสำนักงาน ในสภาพแวดล้อมของผู้เข้าร่วมเอง หรือจากระยะไกลผ่านอินเทอร์เน็ต สิ่งที่สำคัญที่สุดคืองานที่เหมือนจริง ผู้ใช้ที่เป็นตัวแทน และการสังเกตอย่างระมัดระวัง ไม่ใช่สิ่งอำนวยความสะดวกที่มีราคาแพง