ส่วนต่อประสานสมองกับคอมพิวเตอร์สามารถแปลความคิดเป็นคำพูดได้

นักประสาทวิทยาได้สร้างระบบใหม่ที่สามารถแปลความคิดง่าย ๆ เป็นคำพูดที่เป็นที่รู้จักโดยใช้ปัญญาประดิษฐ์และเครื่องสังเคราะห์เสียงพูด

ทีมนักวิจัยจากนิวยอร์กสามารถสร้างคำศัพท์ใหม่โดยใช้กิจกรรมสมองเท่านั้นนวัตกรรมที่สามารถปูทางสำหรับเทคโนโลยีที่ควบคุมด้วยสมองเช่นสมาร์ทโฟนที่สามารถแปลความคิดของคุณเป็นข้อความได้

ดร. Nima Mesgarani รองศาสตราจารย์ที่มหาวิทยาลัยโคลัมเบียนำการศึกษาและบอก ผกผัน เขาเห็นว่ามีศักยภาพที่ดีในการช่วยฟื้นฟูคำพูดให้กับผู้ที่ฟื้นตัวจากโรคหลอดเลือดสมองหรือการใช้ชีวิตอยู่กับเส้นโลหิตตีบด้านข้าง amyotrophic นอกจากนี้เทคโนโลยีประเภทนี้ยังสามารถเปิดประตูสู่สมาร์ทโฟนที่เชื่อมต่อกับสมองซึ่งจะทำให้ผู้ใช้ส่งข้อความโดยใช้จิตใจของพวกเขา งานของเขาถูกตีพิมพ์ในวารสาร รายงานทางวิทยาศาสตร์.

“ หนึ่งในแรงจูงใจของงานนี้…สำหรับวิธีการโต้ตอบระหว่างมนุษย์กับคอมพิวเตอร์เช่นอินเทอร์เฟซที่เป็นไปได้ระหว่างผู้ใช้กับสมาร์ทโฟน” เขากล่าว “ อย่างไรก็ตามนั่นยังห่างไกลจากความเป็นจริงและในขณะนี้ข้อมูลที่สามารถสกัดได้โดยใช้วิธีการไม่รุกรานนั้นไม่ดีพอสำหรับแอปพลิเคชั่นคอมพิวเตอร์สมองคำพูด”

ฟังคำพูดที่สร้างขึ้นโดยส่วนต่อประสานสมองกับคอมพิวเตอร์

เพื่อพัฒนาเทคนิคใหม่ Mesgarani และเพื่อนร่วมงานของเขาดร. Ashesh Dinesh Mehta จากสถาบันประสาทวิทยาศาสตร์การแพทย์นอร์ทเวลล์เริ่มต้นด้วยการตรวจสอบการทำงานของสมองของผู้ป่วยโรคลมชักสำหรับการศึกษาของพวกเขา ผู้ป่วยเหล่านี้มีรากฟันเทียมอิเล็กโทรดในสมองของพวกเขาเพื่อตรวจสอบอาการชักซึ่ง Mesgarani และเมธาสามารถใช้ในการรวบรวมข้อมูลสำหรับการวิจัยของพวกเขา

ทั้งคู่ขอให้ผู้เข้าร่วมเต็มใจฟังวิทยากรอ่านตัวเลขระหว่างศูนย์ถึงเก้าแล้วบันทึกสัญญาณสมองจากการมีปฏิสัมพันธ์นั้น จากนั้นพวกเขาฝึกอบรมโครงข่ายประสาทเทียม - โปรแกรมที่เลียนแบบโครงสร้างเซลล์ประสาทในสมองของมนุษย์ - เพื่อจดจำรูปแบบในสัญญาณและแปลมันเป็นคำที่ทำให้เกิดเสียงหุ่นยนต์โดยใช้ซินธิไซเซอร์ที่รู้จักกันในชื่อ

ผลที่ได้คือคลิปเสียงสั้น ๆ ของสิ่งที่ดูเหมือน Microsoft Sam นับจากศูนย์ถึงเก้า ส่วนที่น่าประทับใจคือความชัดเจนของคำพูดเมื่อเปรียบเทียบกับวิธีอื่น ๆ ที่นักวิจัยทดสอบ อย่างไรก็ตามยังมีงานอีกมากให้ทำ

“ อาจใช้เวลาทศวรรษก่อนที่เทคโนโลยีนี้จะพร้อมใช้งาน” Mesgarani กล่าว “ เราต้องการความก้าวหน้ามากขึ้นทั้งในขั้วไฟฟ้าแบบฝังได้ทางชีวภาพระยะยาวและ / หรือเทคโนโลยีที่ก้าวหน้าในวิธีการบันทึกระบบประสาทแบบไม่รุกราน นอกจากนี้เรายังต้องการความเข้าใจที่ดีขึ้นเกี่ยวกับวิธีที่สมองแสดงการพูดเพื่อให้เราสามารถปรับแต่งวิธีการถอดรหัสของเราได้”

ผู้ป่วยที่เป็นส่วนหนึ่งของการศึกษานี้ตัวอย่างเช่นทุกคนมีการผ่าตัดสมองเพื่อสอดใส่เครื่องตรวจคลื่นไฟฟ้าหัวใจ นี่เป็นกระบวนการที่ต้องทำอย่างยิ่งยวดซึ่งต้องใช้การผ่าตัดสมองแบบเปิดซึ่งเป็นสิ่งที่คนส่วนใหญ่อาจไม่เต็มใจที่จะได้รับแม้ว่าจะมีความเป็นไปได้ที่จะฟื้นฟูความสามารถด้านการพูดของพวกเขา

สำหรับตอนนี้การศึกษานี้ได้แนะนำวิธีการถอดรหัสสัญญาณสมองให้เป็นคำพูด หากเราทราบวิธีตรวจจับการทำงานของสมองอย่างแม่นยำโดยไม่ต้องผ่าตัดเราจะเข้าใกล้การปฏิวัติการรักษาคำพูดเพียงก้าวเดียว แต่อาจนำไปสู่การนำสมาร์ทโฟนที่เชื่อมต่อกับสมอง

การวิจัยส่วนต่อประสานสมองกับสมองได้รับความสนใจอย่างมากในช่วงไม่กี่ปีที่ผ่านมา ในเดือนเมษายน 2560 Facebook ประกาศว่ากำลังทำงาน BCI ระหว่างการประชุมประจำปี F8 และ Elon Musk ประกาศในเดือนพฤศจิกายน 2018 ว่า Neuralink ซึ่งเป็น บริษัท เริ่มต้น BCI ของเขาเองกำลังจ้างงาน

บทคัดย่อ

การฟื้นฟูการกระตุ้นการได้ยินเป็นเทคนิคที่พบว่าการกระตุ้นด้วยเสียงที่ดีที่สุดจากประชากรของกิจกรรมประสาทที่ปรากฏ การสร้างคำพูดจากเยื่อหุ้มสมองหูมนุษย์สร้างความเป็นไปได้ของการพูด neuroprosthetic เพื่อสร้างการสื่อสารโดยตรงกับสมองและได้รับการแสดงให้เห็นว่าเป็นไปได้ทั้งในสภาพที่เปิดเผยและซ่อนเร้น อย่างไรก็ตามคุณภาพเสียงต่ำของคำพูดที่สร้างขึ้นใหม่ได้ จำกัด ยูทิลิตี้ของวิธีการนี้อย่างรุนแรงสำหรับแอปพลิเคชันคอมพิวเตอร์สมอง (BCI) เพื่อพัฒนาระบบประสาทการพูดที่ล้ำสมัยเราได้รวมความก้าวหน้าล่าสุดในการเรียนรู้อย่างลึกล้ำกับนวัตกรรมล่าสุดในเทคโนโลยีการสังเคราะห์เสียงพูดเพื่อสร้างคำพูดที่สามารถเข้าใจได้จากเยื่อหุ้มสมองมนุษย์ เราตรวจสอบการพึ่งพาความถูกต้องของการสร้างใหม่ในวิธีการถดถอยเชิงเส้นและไม่เชิงเส้น (เครือข่ายนิวรัลลึก) และการแทนเสียงที่ใช้เป็นเป้าหมายของการสร้างใหม่รวมถึง spectrogram การได้ยินและพารามิเตอร์การสังเคราะห์เสียง นอกจากนี้เราเปรียบเทียบความแม่นยำในการสร้างใหม่จากช่วงความถี่ต่ำและสูงของระบบประสาท ผลการวิจัยของเราแสดงให้เห็นว่าแบบจำลองโครงข่ายประสาทเทียมแบบลึกที่ประมาณค่าพารามิเตอร์ของเครื่องสังเคราะห์เสียงพูดโดยตรงจากทุกความถี่ของระบบประสาทได้รับคะแนนอัตนัยและวัตถุประสงค์สูงสุดในงานการรับรู้หลักช่วยปรับปรุงความเข้าใจได้ 65% ผ่านวิธีพื้นฐานซึ่งใช้การถดถอยเชิงเส้น สร้าง spectrogram ของหู ผลลัพธ์เหล่านี้แสดงให้เห็นถึงประสิทธิภาพของอัลกอริธึมการเรียนรู้อย่างลึกและการสังเคราะห์เสียงพูดสำหรับการออกแบบระบบเสียงพูด BCI รุ่นต่อไปซึ่งไม่เพียง แต่สามารถคืนค่าการสื่อสารสำหรับผู้ป่วยที่เป็นอัมพาตเท่านั้น แต่ยังมีศักยภาพในการเปลี่ยนเทคโนโลยี

วิดีโอที่เกี่ยวข้อง: หุ่นยนต์ตรวจคลื่นสมองสามารถทำหน้าที่เป็นส่วนขยายของร่างกายมนุษย์