Oralion
Mengapa noise reduction kadang justru menurunkan akurasi pengenalan suara? Speech Enhancement dilihat dari sisi ASR
Di bidang pengenalan suara, "kurangi derau dulu, baru masukkan ke ASR" nyaris dianggap sebagai urutan yang sudah semestinya. Alasannya pun terasa masuk akal: makin sedikit derau latar, makin mudah telinga manusia menangkap ucapan, jadi model pengenalan suara mestinya juga lebih mudah memahaminya.
Kenyataannya tidak selalu begitu.
Belakangan ini semakin banyak penelitian, dan sangat banyak pengujian nyata, menemukan bahwa bagi model pengenalan suara besar masa kini sejumlah model denoise sama sekali tidak menurunkan tingkat kesalahan — malah bisa menaikkan Word Error Rate (WER) atau Character Error Rate (CER). Audionya terdengar lebih bersih, tetapi hasil transkripsinya justru memburuk.
Penyebabnya bukan karena teknologi noise reduction belum matang, melainkan karena Speech Enhancement (SE) dan Automatic Speech Recognition (ASR) sejak awal memang menyelesaikan persoalan yang berbeda.
1. Speech Enhancement dan ASR mengejar tujuan yang berbeda
Sebagian besar model denoise dirancang untuk memperbaiki pengalaman mendengar manusia, sehingga saat dilatih biasanya diarahkan pada metrik kualitas audio seperti PESQ, STOI, dan DNSMOS. ASR sama sekali lain. Yang akhirnya ia pedulikan adalah apakah isi ucapan bisa dipulihkan dengan benar, sehingga yang benar-benar penting adalah WER, CER, dan apakah ciri akustiknya masih dapat dikenali.
Keduanya memang memperhatikan hal yang berbeda:
Yang diperhatikan Speech Enhancement:
- Apakah terdengar wajar dan nyaman di telinga.
- Apakah derau latar sudah cukup senyap.
- Apakah skor PESQ, STOI, dan DNSMOS naik.
- Meski sebagian detail suara dikorbankan, selama kesan keseluruhan membaik, nilainya biasanya tetap tinggi.
Yang diperhatikan Automatic Speech Recognition:
- Apakah teksnya keluar dengan benar.
- Apakah spektrum suara masih menyimpan cukup informasi fonem.
- Apakah WER dan CER turun.
- Umumnya cukup toleran terhadap derau latar, tetapi sangat peka terhadap distorsi buatan (artifact).
Inilah bagian yang mudah terlewat: ASR tidak mencari suara yang paling enak didengar, melainkan suara yang paling mudah dikenali.
Derau latar memang bisa mengganggu pengenalan, tetapi selama ciri kunci ucapan masih utuh, ASR masa kini umumnya sanggup menanganinya. Sebaliknya, jika proses denoise mengubah ciri ucapan itu sendiri, akurasi bisa turun meskipun latarnya jadi lebih senyap.
2. Masalah sebenarnya bukan derau, melainkan Distribution Shift
ASR besar masa kini umumnya tidak menganalisis gelombang mentah secara langsung. Audio lebih dulu diubah menjadi ciri spektral seperti Log-Mel Spectrogram, baru diserahkan ke jaringan saraf.
Model-model itu dilatih dengan rekaman nyata dalam jumlah besar, sehingga yang dipelajarinya adalah sebaran data yang terbentuk dari berbagai lingkungan rekaman sungguhan — bukan rekaman ideal yang sama sekali bebas derau.
Jika model denoise di bagian depan mengubah spektrum suara, maka meski telinga manusia hampir tidak menyadarinya, bagi ASR data masukan itu mungkin sudah menyimpang dari sebaran yang dikenalnya (out-of-distribution).
Gejala ini disebut Distribution Shift.
Banyak model denoise berbasis jaringan saraf, sembari membuang derau latar, juga membentuk ulang spektrum suara, misalnya:
- menyesuaikan energi frekuensi tinggi
- menghaluskan detail spektrum
- menggeser sebagian formant
- memakai metode generatif untuk menambal sinyal yang sebenarnya tidak ada
Bagi telinga manusia perubahan ini biasanya terdengar sangat wajar, tetapi bagi ASR justru bisa merusak ciri penting yang dipakainya untuk membedakan fonem.
Jadi yang sesungguhnya memengaruhi akurasi sering kali bukan seberapa banyak derau yang tersisa, melainkan apakah proses denoise mengubah ciri suara yang sudah dikenal model.
3. Denoise berlebihan ikut melukai informasi suara yang penting
Dalam penerapan nyata, masalah yang paling sering muncul adalah ikut melemahnya informasi frekuensi tinggi.
Demi latar yang lebih bersih, banyak model denoise menekan energi frekuensi tinggi cukup kuat. Padahal frekuensi tinggi justru sumber informasi terpenting bagi banyak bunyi frikatif dan afrikat, misalnya:
- bunyi "s", "sh", "ch", "zh" dalam bahasa Mandarin
- fonem /s/, /f/, /θ/ dalam bahasa Inggris
Secara spektral, bunyi-bunyi ini memang sudah mirip dengan desau angin dan aliran udara. Bila model denoise tidak mampu membedakan keduanya, informasi suara yang asli ikut terhapus.
Telinga manusia masih bisa menebak isinya dari konteks, jadi perbedaannya sering tak terasa. Namun ASR, setelah kehilangan batas-batas frekuensi tinggi itu, jadi lebih mudah tertukar antar fonem yang mirip — dan itu terlihat sebagai naiknya CER atau WER.
Karena itu pada banyak pengujian muncul pola yang menarik:
Kualitas audio terus membaik, tetapi pada titik tertentu akurasi justru mulai menurun.
4. ASR besar masa kini sudah menganggap derau sebagai bagian data latih
Model pengenalan suara besar beberapa tahun terakhir sebagian besar dilatih dengan rekaman dunia nyata dalam jumlah masif: beragam perangkat rekam, derau lingkungan, gema, percakapan banyak orang, serta mikrofon dengan mutu yang bermacam-macam. Selama pelatihan itu, model sudah belajar menarik ciri suara yang stabil meski ada derau latar.
Dengan kata lain, derau latar biasanya justru bagian dari data latih, bukan keadaan menyimpang yang harus dihapus habis.
Karena itu denoise di bagian depan belum tentu memberi keuntungan tambahan. Jika model denoise mengubah spektrum suara, misalnya:
- membagi ulang energi antar frekuensi
- melemahkan informasi frekuensi tinggi
- memasukkan distorsi buatan (artifact) baru
- mengubah struktur spektral ucapan
maka ciri masukan bisa menyimpang dari sebaran data yang dikenal model saat dilatih. Latar yang lebih bersih tidak menjamin akurasi naik, bahkan bisa menurunkannya.
Jadi saat menilai hasil denoise, jangan berhenti pada apakah audionya jadi bersih; ukurlah langsung bagaimana kinerja pengenalan ASR-nya.
5. Pilih model denoise berdasarkan kinerja ASR
Dalam sistem pengenalan suara, tidak ada satu pun model denoise yang cocok untuk semua situasi.
Gagasan di balik tiap model berbeda-beda:
- ada yang mengejar penekanan derau semaksimal mungkin
- ada yang sengaja menyisakan lebih banyak detail suara asli
- ada yang cocok untuk panggilan suara
- ada yang cocok untuk pemulihan rekaman
- ada yang lebih cocok untuk streaming waktu nyata
Karena itu, menilai apakah sebuah model denoise cocok untuk ASR tidak cukup dengan membandingkan skor PESQ atau DNSMOS, melainkan harus melihat langsung pengaruhnya pada akurasi, termasuk:
- WER
- CER
- Latency (jeda)
- pemakaian CPU / GPU
- kestabilan pada streaming jangka panjang
Nyatanya, model ASR yang berbeda pun bisa bereaksi berbeda terhadap front end denoise yang sama. Kalau satu model jadi lebih akurat, itu tidak berarti tetap begitu setelah ASR-nya diganti.
Tidak ada yang namanya "model denoise terbaik", yang ada hanya "model denoise yang paling cocok untuk sistem ASR tertentu".
Penutup
Tujuan Speech Enhancement semestinya bukan sekadar membuat audio lebih bersih, melainkan membuat pengenalan suara sesudahnya lebih andal.
Bagi ASR besar masa kini, derau latar belum tentu musuh yang sebenarnya; yang benar-benar perlu dihindari adalah perubahan yang ditimbulkan proses denoise pada ciri suara. Begitu data masukan menyimpang dari sebaran yang dikenal model, akurasi bisa turun meski telinga merasa lebih nyaman.
Karena itu, saat merancang sistem pengenalan suara, denoise sebaiknya tidak dianggap tahap pra-pemrosesan yang sudah pasti ada, melainkan dinilai sebagai bagian dari keseluruhan ASR Pipeline. Ia baru benar-benar bernilai bila dalam pengujian nyata ia menurunkan WER atau CER, bukan sekadar memperbaiki kesan dengar.
Bagi ASR, yang terpenting tidak pernah audio yang paling senyap, melainkan audio yang menyimpan paling banyak informasi suara yang berguna.
