Google ไขความลับระบบกันภาพสั่นของ Pixel 2 และ Pixel 2 XL

Google เปิดเผยงานวิจัยเทคนิคระบบกันภาพสั่นของ Pixel 2 และ Pixel 2 XL ได้อย่างยอดเยี่ยม เทคนิคดังกล่าวเรียกว่า Fused Video Stabilization ซึ่งสร้างขึ้นจากระบบ OIS (Optical Image Stabilization) และ EIS (Electronic Image Stabilization) โดยให้ผลลัพธ์ที่มีคุณภาพสูง ป้องกันการสั่นไหวได้อย่างอิสระทุกทิศทาง จนได้คะแนนการทดสอบจาก DxO ไปสูงมาก

แต่การบันทึกวิดีโอด้วยสมาร์ทโฟนนั้น ขึ้นอยู่ปัจจัยต่างๆมากมาย ไม่ว่าจะเป็น

การสั่นของกล้อง ซึ่งโดยปกติแล้ว การหยิบสมาร์ทโฟนขึ้นมาบันทึกวิดีโอในทันทีนั้นจะทำให้เกิดการสั่นไหวของภาพ และถ้าเราเคลื่อนไหวตามไปด้วย ภาพที่ได้ก็จะมีความสั่นไหวมากขึ้นด้วยเช่นกัน

อาการภาพที่เบอลจากการเคลื่อนไหว (Motion Blur) เกิดจากการที่กล้องหรือวัตถุสั่นในระหว่างบันทึกวิดีโอ ถึงแม้จะมีการแก้เฟรมต่างๆในภายหลัง แต่วิดีโอที่ได้จะปรากฏเป็นภาพเบลอและชัดสลับกันไป

อาการภาพล้ม (Rolling Shutter) เกิดจากการที่เซ็นเซอร์ภาพ CMOS เก็บพิกเซลภาพเป็นแถวจากด้านบนลงล่าง เป็นเวลา 10 มิลลิวินาที ซึ่งถ้าหากมีการเคลื่อนไหวอย่างรวดเร็วระหว่างการบันทึก ก็จะทำให้เกิดอาการภาพล้ม ดังวิดีโอด้านล่างนี้

โฟกัสไหล (Focus Breathing) เป็นความไม่เสถียรของมุมมองภาพในขณะปรับโฟกัส เนื่องจากมีวัตถุมาอยู่ในระยะใกล้อย่างรวดเร็ว ผลก็คือทำให้ภาพพื้นหลังมีแสงจ้าและกระจายไปทั่ว ดังวิดีโอด้านล่างนี้

อย่างไรก็ดี ระบบป้องกันการสั่นของภาพที่รู้จักกันดีในปัจจุบันก็คือ OIS (Optical Image Stabilization: ระบบป้องกันภาพสั่นไหวแบบออฟติคอล) และ EIS (Electronic Image Stabilization: ระบบป้องกันภาพสั่นไหวแบบอิเลกทรอนิกส์) ซึ่งยังมีข้อผิดพลาดในการประมวลผลภาพบางประเภท

แล้ว Fused Video Stabilization เข้ามาทำงานได้อย่างไร ?

Fused Video Stabilization จะใช้ทั้ง OIS และ EIS ในขณะบันทึกวิดีโอเพื่อระบุถึงปัญหาต่างๆข้างต้น โดยแบ่งออกได้เป็น 3 ขั้นตอน คือ

วิเคราะห์การเคลื่อนไหวด้วย ไจโรสโคป ความไวสูง คัดกรองการเคลื่อนไหว (Motion Filtering) รวมเข้ากับ AI เพื่อคำนวนและคาดคะเนการเคลื่อนไหวของบุคคลในขณะที่ถูกบันทึกภาพ หรือเรียกว่า Lookahead Motion Filtering สังเคราะห์เฟรม เพื่อลบอาการภาพล้มและโฟกัสไหล

นั่นทำให้วิดีโอที่ได้จากการเทคนิค Fused Video Stabilization ใน Pixel 2 นั้น มีอาการภาพเบลอจากการเคลื่อนไหวน้อยลง และดูเป็นธรรมชาติมากขึ้น ทั้งวิดีโอในระดับ 60 fps หรือ 4K

กล่าวคือ Fused Video Stabilization ได้นำเอา AI มาช่วยในการประมวผลภาพ โดยฟีเจอร์หนึ่งที่มีความสำคัญ ก็คือ Lookahead Motion Filtering โดยมีการทำงานที่น่าสนใจ ดังนี้

วิเคราะห์และจดจำรูปแบบการเคลือนไหวของผู้ใช้ และสร้างการเคลื่อนไหวให้นุ่มนวลมากขึ้น ทำการเทรนซอฟต์แวร์ให้แยกการเคลื่อนไหวที่ตังใจออกจากการเคลื่อนไหวอื่นๆที่ไม่เกี่ยวข้อง เช่น ถ้าหากระบบคาดการณ์ว่ากล้องจะหมุนไปในแนวราบ ก็จะตัดการเคลื่อนไหวในแนวดิ่งออก ซึ่งทำให้ภาพมีความนิ่งมากขึ้น ตัดส่วนขอบที่เกินออกจากภาพ เพื่อให้ภาพมีความสมบูรณ์มากขึ้น

นอกจากนี้ การใช้ ไจโรสโคป ความไวสูง ร่วมกับ OIS ยังช่วยให้ระบุการเบลอของภาพจากการเคลื่อนไหวในแต่ละเฟรมได้อย่างแม่นยำ ทั้งก่อน ในระหว่าง และหลังจากการบันทึก แล้ว AI ก็จะคำนวณเพื่อสร้างแบบจำลองการสั่น และช่วยลดการสั่นของภาพที่เกิดขึ้นได้ ดังวิดีโอด้านล่างนี้

เรามาดูตัวอย่างวิดีโอที่บันทึกโดย Pixel 2 ด้วยเทคนิค Fused Video Stabilization ซึ่งทำให้ภาพมีความนุ่มนวลเป็นอย่างมาก