Your Tech Club
Logo van Signal.Stream

Spectre: een AI-platform voor realitytelevisie dat de scène vindt

Hoe we met Signal.Stream een AI-platform voor realitytelevisie bouwden dat in duizenden uren beeld de scènes vindt. Lees hoe we het aanpakten.

Spectre, het AI-platform voor realitytelevisie van Signal.Stream en Your Tech Club

Spectre is een AI-platform voor realitytelevisie. We bouwden het samen met Signal.Stream, dat content maakt voor televisie en streaming. Het platform zoekt in duizenden uren beeld en geluid naar de momenten die een seizoen maken. Een bekentenis, een breuk, dat ene gesprek dat alles verandert.

Zulke momenten gebeuren één keer. Daarna moet iemand ze terugvinden, en dat kost een storyteam nu dagen.

Ik vertel dit verhaal graag, omdat het laat zien hoe ik naar AI kijk. Eerst uitzoeken waar het echt tijd oplevert. Dan pas bouwen.

Het project in het kort

Partner
Signal.Stream, maker van content voor televisie en streaming.
Sector
televisie en streaming, unscripted formats.
Wat we deden
AI-engineering, platformontwerp en architectuur, verwerking van beeld en audio op schaal, UX/UI-design, en het ontwerp en de bouw van de website.
Techniek
een eigen model (SPECTRE LLM) en Next.js voor de website.
Team
Jip van Berkum en Wouter van der Pauw van Signal.Stream, Joey van Vliet en ik van Your Tech Club.

Wat was de uitdaging bij realitytelevisie?

Het zoeken naar de juiste scène kost dagen. Storyteams kijken uren aan dailies terug om de momenten te vinden waar editors omheen bouwen. Algemene AI-modellen helpen daar nauwelijks bij, want ze zijn getraind op boeken, code en internet. Ze leveren woorden op, maar geen moment in de tijdlijn.

Zo'n model weet ook niet hoe een confessional klinkt. Het raakt de draad kwijt als zes mensen door elkaar praten. En de regels van een format kent het al helemaal niet.

Daar komt nog iets bij. Ongepubliceerd materiaal is gevoelig. Beelden van een seizoen dat nog moet uitkomen, stop je niet in een publiek AI-hulpmiddel. Dat geldt trouwens niet alleen voor televisie, maar hier is het risico wel heel tastbaar.

De pagina over het eigen model van Spectre, met de kop "An AI built for one industry"

Waarom kozen we voor een eigen AI-platform voor realitytelevisie?

Omdat een algemeen model aanpassen het verkeerde probleem oplost. Productiekennis zonder technologie was een idee gebleven. Technologie zonder productiecontext had het verkeerde probleem opgelost. Daarom bouwden we met Signal.Stream een systeem voor één branche, dat de cast, het format en de show bible van een productie leert kennen.

De rolverdeling was helder. Signal.Stream bracht jaren ervaring in televisieproductie mee, kennis van redactionele workflows en toegang tot echte producties. Wij brachten de AI-engineering, het ontwerp en de architectuur van het platform, en de techniek om grote hoeveelheden materiaal te verwerken.

Dat is precies de reden dat dit werkte. Als ik één ding zie bij AI-projecten die stranden, is het dit: iemand begint bij de technologie in plaats van bij het werk. Hier begonnen we bij het zoekwerk van een storyteam.

Zit jouw team ook uren te zoeken in eigen materiaal? Dan kijken we eerst waar AI echt tijd oplevert, en bouwen we pas daarna.

Lees hoe we AI implementeren
Het team achter Spectre: Jip van Berkum en Wouter van der Pauw van Signal.Stream, Yassine Seghrouchni en Joey van Vliet van Your Tech Club

Hoe hebben we Spectre gebouwd?

Samen met de mensen die het elke dag gebruiken. We vormden Spectre vanaf het begin met editors, story producers, showrunners en productieteams. Hun feedback bepaalde niet alleen wat de technologie kon, maar ook wat hij moest doen. Elke functie ontwierpen we rond een probleem dat zij dagelijks tegenkomen, met echte producties als toetssteen.

Het resultaat is een platform dat ruwe beelden en audio omzet in een verhaal waarmee een team kan werken. Het draait op een eigen model, gebouwd voor unscripted televisie.

Scènes, emoties en gesprekken

Spectre herkent en ordent scènes over alle camerahoeken en draaidagen heen. Het markeert emotionele omslagen, conflicten en spanning. Ook brengt het in kaart wie wat tegen wie zei. Allianties en conflicten worden zo zichtbaar, zonder spreadsheets of geheugenwerk.

Het functieoverzicht van Spectre: scènedetectie, emotie- en spanningsdetectie, multicamera-analyse en conversation intelligence

Zes mensen die door elkaar praten

Waar een algemeen model afhaakt als zes mensen tegelijk praten, scheidt Spectre de stemmen. Het volgt sprekers over dagen en camera's heen. Elk moment komt bovendien met de precieze seconde waarop het gebeurde. Een editor staat dus meteen op de juiste plek in de tijdlijn.

Een assistent voor het storyteam

Het storyteam krijgt dagelijkse samenvattingen van wat er gebeurde en wat ertoe doet. Daarnaast is er de AI Spotter, getraind op de show bible en het format van de productie. Spectre begrijpt Nederlands en de belangrijkste Europese talen, want lang niet elke productie is Engelstalig.

Beelden blijven van de productie

Elke productie draait in een eigen, afgeschermde omgeving. Spectre gebruikt het materiaal niet om modellen voor andere producties te trainen. Het versleutelt alles tijdens transport, opslag en verwerking, en legt elke toegang en actie vast. Een productiehuis kiest zelf de regio van de data. Spectre kan ook draaien in een private cloud, on-premise of op eigen infrastructuur van de productie.

De privacyafspraken van Spectre: geen hergebruik van materiaal, versleuteling, afgeschermde projecten, keuze van regio en een volledige audittrail

Hoe ziet het ontwerp van Spectre eruit?

Het ontwerp draait om de tijdlijn. Elk gevonden moment wijst naar een exacte seconde, zodat een editor direct verder kan. Daarnaast toont Spectre emotie en spanning als een grafiek over tijd, met daarnaast een tijdlijn die per kandidaat laat zien wie wanneer spreekt. Ook de website ontwierpen en bouwden we zelf.

Die website draait op Next.js. Productieteams vragen er onder NDA toegang aan, en nieuwe plekken gaan in rondes open. Dat past bij het product: je laat niet iedereen tegelijk binnen bij materiaal van een seizoen dat nog moet uitkomen.

Een grafiek van emotie en spanning over tijd met drie pieken, naast een tijdlijn die per kandidaat laat zien wie wanneer spreekt

Wat leverde het AI-platform voor realitytelevisie op?

Vijf onderdelen draaien nu live: scènedetectie, conversation intelligence, emotie- en spanningsdetectie, dagelijkse rapporten en de AI Spotter. Daarmee haalt Spectre het zoekwerk weg, zodat een storyteam zijn tijd aan het verhaal besteedt. Het instinct van een editor vervangt het niet. Dat was ook nooit de bedoeling.

Op de roadmap staat de volgende stap. Denk aan rough cuts die klaarstaan voor de montage, en directe export naar Premiere Pro en DaVinci Resolve. Daarnaast komen er tijdlijnen die per verhaallijn zijn geordend.

Wie meer wil lezen over hoe zo'n systeem in elkaar zit, vindt de basis in wat een AI-agent is.

Wil je een ander voorbeeld uit de televisiewereld zien? Voor StukTV bouwden we het pinspel voor Waar de F*ck is STUK?, gebouwd voor de piek na elke oproep.

Wil je weten waar AI in jouw bedrijf echt tijd oplevert? We zoeken het in vijf werkdagen uit, voordat je iets laat bouwen.

Plan je AI-audit

Bijgewerkt op

Vragen of kennismaken

Neem direct contact met ons op. We komen zo snel mogelijk bij je terug

Joey van VlietYassine SeghrouchniHet team op kantoorJe bericht komt bij ons team in Amsterdam binnen.

We nemen zo snel mogelijk contact met je op.

Veelgestelde vragen

Wie heeft Spectre gebouwd?

Spectre is een samenwerking tussen Signal.Stream en Your Tech Club. Signal.Stream bracht de kennis van televisieproductie en redactie in. Your Tech Club deed de AI-engineering, het ontwerp en de architectuur van het platform, de verwerking van grote hoeveelheden beeld en audio, en het ontwerp en de bouw van de website.

Wat doet Spectre?

Spectre zoekt in de beelden en audio van een realityproductie de momenten die ertoe doen: emotionele omslagen, conflicten, gesprekken en de relaties tussen kandidaten, elk met de exacte seconde waarop het gebeurde. Scènedetectie, conversation intelligence, emotie- en spanningsdetectie, dagelijkse rapporten en de AI Spotter zijn live.

Waarom een eigen model en geen algemeen AI-model?

Algemene modellen zijn getraind op boeken, code en internet. Ze herkennen geen confessional, raken het overzicht kwijt als meerdere mensen door elkaar praten en kennen de regels van een format niet. Spectre is gebouwd voor unscripted televisie en leert de cast, het format en de show bible van een productie kennen.

Wat gebeurt er met het beeldmateriaal van een productie?

Elke productie draait in een eigen, afgeschermde omgeving. Het materiaal traint geen modellen voor andere producties, is versleuteld tijdens transport, opslag en verwerking, en elke toegang wordt vastgelegd. De productie kiest de regio van de data, en Spectre kan ook in een private cloud of on-premise draaien.

Werkt Spectre met Premiere Pro of DaVinci Resolve?

Directe export naar tijdlijnen in Premiere Pro en DaVinci Resolve staat op de roadmap voor de volgende versie, samen met rough cuts die klaarstaan voor de montage.