Microfoonarray: hoe apparaten leren luisteren en lokaliseren
Een microfoonarray is een groepje microfoons dat op vaste, bekende afstanden van elkaar is opgesteld en samenwerkt als één slim luistersysteem. Waar een enkele microfoon alleen registreert hóe hard en hoog een geluid is, kan een array ook bepalen waar een geluid vandaan komt en zich vervolgens richten op die bron, terwijl geluid uit andere richtingen wordt gedempt.
Een vertrouwd voorbeeld van hetzelfde principe zit in je eigen hoofd: doordat je twee oren hebt die een paar centimeter uit elkaar staan, hoort het ene oor een geluid net iets eerder of luider dan het andere. Je hersenen gebruiken dat verschil om te bepalen uit welke richting het geluid komt. Een microfoonarray doet iets vergelijkbaars, maar dan met meerdere microfoons en met wiskunde in plaats van hersenen. Zo kan een slimme speaker zoals de Amazon Echo je stem oppikken vanaf de andere kant van de kamer, ook als de tv aanstaat, en toch niet reageren op die tv.
Wat is het precies?
Een microfoonarray bestaat meestal uit vier tot acht kleine microfoons die in een rij (lineair) of in een cirkel (circulair) zijn geplaatst, met exact bekende onderlinge afstanden. Die precisie is essentieel: de hele techniek draait om minieme tijdsverschillen waarmee eenzelfde geluid bij de verschillende microfoons aankomt.
Geluid verplaatst zich met ongeveer 343 meter per seconde. Bij microfoons die een paar centimeter uit elkaar staan, scheelt dat maar een fractie van een milliseconde in aankomsttijd, afhankelijk van de richting waaruit het geluid komt. Door die piepkleine verschillen tussen alle microfoonparen te meten, kan een systeem berekenen uit welke hoek een geluid komt. Dit heet direction of arrival-schatting, oftewel richtingsbepaling van de bron.
Zodra de richting bekend is, kan het systeem aan beamforming doen: de signalen van alle microfoons worden zo vertraagd en bij elkaar opgeteld dat geluid uit de gewenste richting elkaar versterkt, terwijl geluid uit andere richtingen elkaar juist uitdooft. Het resultaat is een virtuele, richtingsgevoelige "straal" (beam) van gevoeligheid, alsof je een onzichtbare richtmicrofoon naar de spreker draait, zonder dat er iets fysiek beweegt. Dit is een vorm van ruisonderdrukking: achtergrondgeluid, galm en andere sprekers worden gedempt doordat ze niet uit de "beam"-richting komen.
Dit is fundamenteel anders dan een gewone stereo-opstelling met twee microfoons, die vooral bedoeld is om links en rechts te onderscheiden voor een prettig luisterbeeld. Een microfoonarray met vier of meer microfoons kan geluid in een volledige cirkel van 360 graden lokaliseren en er actief op inzoomen, wat met twee microfoons veel minder nauwkeurig lukt.
Wat wil men ermee bereiken?
De belangrijkste drijfveer is betrouwbare spraakherkenning op afstand, ook wel far-field-spraakbediening genoemd: je wilt "Hey Google" of "Alexa" kunnen zeggen vanaf de bank, niet met je mond tegen het apparaat. Zonder microfoonarray verzuipt je stem al snel in achtergrondgeluid, galm van de kamer of muziek uit de speaker zelf.
In videovergaderingen wordt de techniek gebruikt om automatisch de camera of het geluidsbeeld te richten op wie er op dat moment spreekt, zodat deelnemers op afstand een natuurlijker gesprek ervaren. In moderne gehoorapparaten helpt richtingsgevoeligheid om de stem van de persoon tegenover je te versterken en omgevingslawaai te dempen, wat in drukke ruimtes een groot verschil kan maken voor spraakverstaanbaarheid.
Er zijn ook toepassingen buiten consumentenelektronica: akoestische lokalisatie met microfoonarrays wordt onderzocht en ingezet voor bijvoorbeeld het detecteren en volgen van drones op basis van hun geluid, of het lokaliseren van de herkomst van een schot in beveiligingssystemen. Het onderliggende principe, richting bepalen uit tijdsverschillen tussen microfoons, is hetzelfde als bij spraakbediening, alleen toegepast op andere geluidsbronnen.
Voorbeelden uit de praktijk
De Amazon Echo, geïntroduceerd in 2014, was een van de eerste massaal verkochte consumentenproducten met een microfoonarray: een cirkelvormige opstelling van zeven microfoons die verre-veld-spraakherkenning mogelijk maakte, ook met muziek op de achtergrond.
Apple bracht in 2018 de HomePod uit, met een array van zes microfoons rond de basis, gecombineerd met signaalverwerking om Siri te laten reageren ondanks het geluid van de speaker zelf.
Google paste vergelijkbare technologie toe in zijn Nest- en Home-speakers, met arrays van meerdere microfoons voor "Hey Google"-detectie op afstand.
In de vergaderzaal maken apparaten zoals moderne conferentiesystemen van onder meer Microsoft en aanbieders van Zoom-gecertificeerde hardware gebruik van microfoonarrays om automatisch te bepalen wie er spreekt en het geluid of beeld daarop te richten, een functie die sinds het eind van de jaren 2010 steeds gangbaarder is geworden in kantoren.
Ook in de gehoorapparatenindustrie is richtingsgevoelige, op microfoonarrays gebaseerde signaalverwerking sinds de jaren 2010 een standaardonderdeel geworden van de betere toestellen, al verschilt de precieze uitvoering sterk per fabrikant en model.
Hoe ver is de techniek?
Microfoonarray-technologie is inmiddels volwassen en breed uitgerold: sinds het midden van de jaren 2010 zit de basisfunctionaliteit, meerdere microfoons plus beamforming, in miljoenen slimme speakers, telefoons, laptops en vergaderapparaten. In die zin is het geen experimentele techniek meer, maar een gevestigd onderdeel van consumentenelektronica.
Wat wel nog volop in ontwikkeling is, is de combinatie met machine learning. Waar klassieke beamforming vooral werkt op basis van geometrie en tijdsverschillen, gebruiken nieuwere systemen getrainde neurale netwerken om ruis en stemmen beter uit elkaar te houden, ook in lastige situaties met meerdere sprekers tegelijk. Dat laatste probleem, het zogeheten cocktailparty-effect (het vermogen om één stem uit een wirwar van gesprekken te isoleren, zoals mensen dat moeiteloos doen op een drukke borrel), is voor machines nog altijd notoir lastig en onderwerp van actief onderzoek.
Praktische obstakels blijven bovendien bestaan: kleine, batterijgevoede apparaten hebben beperkte rekenkracht voor zware signaalverwerking, galm in kleine of hard betegelde ruimtes verstoort de tijdsverschillen waarop de techniek leunt, en meerdere gelijktijdige sprekers blijven een uitdaging. Daarnaast is er een blijvend privacyvraagstuk: apparaten met always-on microfoonarrays luisteren voortdurend mee om een activeringswoord te herkennen, wat bij gebruikers terecht vragen oproept over wat er precies wordt opgeslagen en verstuurd.
Wie werken eraan?
Grote techbedrijven zoals Amazon, Google, Apple en Microsoft ontwikkelen elk hun eigen combinatie van microfoonarray-hardware en signaalverwerkingssoftware voor hun respectievelijke slimme speakers, telefoons en vergaderapparatuur.
Daarnaast bestaat er een laag van gespecialiseerde toeleveranciers. Een bekend voorbeeld is het Britse bedrijf XMOS, dat audioprocessoren ontwikkelt die specifiek zijn toegesneden op het verwerken van signalen van meerdere microfoons tegelijk, en die door verschillende fabrikanten van slimme apparaten worden ingebouwd.
Op wetenschappelijk vlak wordt microfoonarray-technologie bestudeerd binnen de bredere discipline van digitale signaalverwerking en akoestiek, met de IEEE Signal Processing Society als een van de belangrijkste internationale vakverenigingen waar onderzoekers resultaten publiceren en uitwisselen. Ook de gehoorapparatenindustrie investeert in eigen onderzoek naar richtingsgevoelige microfoontechniek, gericht op betere spraakverstaanbaarheid voor gebruikers met gehoorverlies.