อธิบายเหตุผล ทำไม Google Pixel 2/XL จึงถ่ายภาพ Portrait ได้ดีมาก แม้มีกล้องเพียงตัวเดียว

Google เปิดตัวสมาร์ทโฟนเรือธง Pixel 2 และ 2 XL ด้วยประสิทธิภาพกล้องหลังที่เหนือชั้นกว่าสมาร์ทโฟนรุ่นอื่นๆด้วยศักยภาพเทคโนโลยี AI (Artificial Intelligence : ปัญญาประดิษฐ์)

 ฟีเจอร์หนึ่งที่ Pixel 2 และ 2 XL สามารถทำได้เช่นเดียวกับสมาร์ทโฟนที่มีกล้องหลัง 2 ตัว คือ การถ่ายภาพโหมด Portrait ซึ่งใช้ AI ช่วยในการประมวลผลภาพได้อย่างยอดเยี่ยม

…เรามาดูกันว่า Google ทำได้อย่างไร ?

 

จะเห็นได้ว่า Pixel 2 และ 2 XL ได้อัปเกรดสเปคกล้องหลังให้สามารถเก็บรายละเอียดของสีและแสงได้มากขึ้น และยังมีระบบกันสั่น (OIS : Optical Image Stabilization) ด้วย

อธิบายการถ่ายภาพโหมด Portrait ของ Pixel 2 และ 2 XL

การถ่ายภาพโหมด Portrait ของ Pixel 2 และ 2 XL ด้วยกล้องหลังเพียงตัวเดียวนั้น มีด้วยกัน 3 ชั้นตอนคือ

ขั้นที่ 1: HDR+

HDR ย่อมาจาก High-Dynamic Range ซึ่งใช้การนำภาพที่มี Exposure ต่างกัน คือ ภาพมืด และภาพสว่าง มารวมกันในภาพเดียว ทำให้เห็นรายละเอียดทั้งในส่วนที่มืดและสว่างของภาพได้ชัดเจนมากยิ่งขึ้น ส่วน HDR+ นั้น จะใช้การถ่ายภาพจำนวน 10 ภาพ คือ ภาพที่มี Exposure ต่ำ ไปจนถึงภาพที่มีไฮไลท์สูงมาก มารวมกันเป็นภาพเาดียว โดยผลที่ได้นั้นปรากฏให้เห็นด้านล่างนี้

ซ้าย: ปิด HDR+, ขวา: เปิด HDR+

ขั้นที่ 2: ศักยภาพของ AI

เมื่อได้ภาพ HDR+ แล้ว Machine Learning หรือ AI จะเข้ามามีส่วนช่วยเทรนระบบ Neural Network (โครงข่ายประสาทเทียม) ในการตรวจจับบุคคล, สัตว์เลี้ยง, ดอกไม้ และอื่นๆในลักษณะเดียวกัน เพื่อเลือกจุดที่จะโฟกัสและจุดที่จะเบลอ

กล่าวคือ Neural Network จะกรองภาพด้วยการชั่งน้ำหนักโดยรวมของพิกเซลทั้งหมด ดังนี้

• เริ่มจากกรองสีและขอบ จากนั้นจะกรองไปเรื่อยๆจนบนใบหน้า
• ระบบ Neural Network ได้รับการเทรนให้รู้จักผู้คนกว่าล้านรูปแบบ เช่น บางคนใส่หมวก, บางคนใส่แว่นดำ และอื่นๆอีกมากมาย
• ทำ Segmentation Mask (การกำหนดจุดแบ่งส่วนของภาพ) ดัังที่ปรากฏด้านล่าง

 

ขั้นที่ 3: Dual Pixel

หลังจากทำ Segmentation Mask แล้วนั้น ต่อมาคือการเบลอภาพในหลายระดับ เนื่องจากพื้นหลังนั้นจะมีระยะลึกที่ต่างกัน โดย Pixel 2 มีเซ็นเซอร์ Dual Pixel ซึ่งจะแบ่งแต่ละพิกเซลออกมาเป็น 2 พิกเซลย่อย หรือที่เรียกว่า Dual Pixel Auto Focus (DPAF) เพื่อเก็บรายละเอียดเดียวกันด้วยมุมของภาพที่ต่างกันเล็กน้อยมากๆ ซึ่งใช้ในการกำหนดความลึกของวัตถุแต่ละชิ้น

ผลลัพธ์

ผลที่ได้คือ ส่วนที่สว่างจะอยู่ใกล้ และส่วนที่มืดจะอยู่ไกล ด้วยวิธีการดังนี้

ใช้การรวมภาพด้านซ้ายและภาพด้านขวา (หรืออาจเป็นภาพด้านบนและภาพด้านล่าง) ด้วยอัลกอริทึ่มแยกส่วน ซึ่งคล้ายกับ Jump Assembler ของ Google อัลกอริทึ่มนำพิกเซลมาจัดเรียงเพื่อสร้าง Depth Map (การกำหนดจุดลึกของภาพเพื่อเป็นฉากหลัง) ที่มีความละเอียดต่ำ เพิ่ม Depth Map ความละเอียดสูง

ด้วยขั้นตอนที่ซับซ้อนนี้ ทำให้ได้การรวมภาพในขั้นตอนสุดท้ายนั้นสมบูรณ์แบบ โดยสามารถกรอง Noise ออก เพื่อให้ได้ภาพที่คมชัด และแม่นยำอย่างที่สุด แม่แต่ปลายเส้นผมที่หยิกงอ หรือแม้แต่การถ่ายภาพ Macro ก็ตาม

…จำไว้นะ Apple ต้องทำให้ได้อย่างนี้ !

สำหรับกล้องหน้านั้น ไม่มีเซ็นเซอร์ Dula Pixel จึงใช้เพียง 2 ชั้นตอนแรก แต่ได้ผลลัพธ์ที่ดีใกล้เคียงกัน