Lyrics-Sync

Lyrics-Sync richtet den Liedtext am Audio aus, sodass Wörter im richtigen Moment hervorgehoben werden. Verwende client.projects.syncLyrics(...), um die Synchronisierung für jedes Projekt erneut auszuführen – z. B. mit aktualisierten Lyrics, einem anderen Modell oder einer neuen Sprache.

`client.projects.syncLyrics(projectId, body, options?)`

Startet eine neue Lyrics-Sync-Operation.

const operation = await client.projects.syncLyrics("prj_abc123", {
  lyricsSource: {
    type: "align",
    lyrics: "First line\nSecond line\n...",
    syncModel: "audioshake-alignment",
  },
});

const { project } = await client.projects.wait(operation);
console.log(project.alignments);

Lyrics source

Übergebe ein lyricsSource-Objekt im Request-Body:

transcribe
align

Lass das Modell die Lyrics aus dem Audio transkribieren.

{
  lyricsSource: {
    type: "transcribe",
    syncModel: "audioshake-transcription",
    language: "en",
  },
}

Übergib exakte Lyrics. Das Modell richtet sie am Audio aus.

{
  lyricsSource: {
    type: "align",
    lyrics: "First line\nSecond line\n...",
    syncModel: "audioshake-alignment",
    language: "en",
  },
}

Sync models

Alignment models (mit align verwenden, wenn du korrekte Lyrics hast):

audioshake-alignment
musicai-alignment
musicai-alignment-subword
wav2vec2

Transcription models (mit transcribe verwenden):

audioshake-transcription
elevenlabs-transcription
musicai-transcription
whisper

Siehe Choose a lyrics sync model für Hinweise.

End-to-end example

import { YoukaClient } from "@youka/sdk";
import { readFile } from "node:fs/promises";

const client = new YoukaClient({ apiKey: process.env.YOUKA_API_KEY! });

async function reAlignLyrics(projectId: string) {
  const lyrics = await readFile("./lyrics.txt", "utf8");

  const operation = await client.projects.syncLyrics(projectId, {
    lyricsSource: {
      type: "align",
      lyrics,
      syncModel: "audioshake-alignment",
      language: "en",
    },
  });

  const { project } = await client.projects.wait(operation);
  console.log("Updated lyrics with", project.lyrics?.length, "lines");
}

What’s next

Stems — Stem-Separation erneut ausführen, bevor du erneut synchronisierst
Tasks — Operation-Handles und Abort-Patterns
Choose a lyrics sync model — das passende Modell auswählen

Discover supported models

client.capabilities.get() gibt die konfigurierte Modellunterstützung und die Berechtigung des authentifizierten Kontos zurück. Jedes Modell beschreibt seine Operation, inputAudio, unterstützte workflows, Sprachrichtlinie, erforderliche Features und suppliedTextHandling. Verfügbarkeit ist keine Garantie für die Uptime des Providers. Transcription akzeptiert optional lyrics als Referenztext. Die Capability-Response unterscheidet Provider-Keyterms von Korrekturen nach der Transkription. Referenztext garantiert kein identisches Output. Für exakt vorgegebenen Text wähle ein geeignetes Alignment-Modell.

Edit existing timings

Verwende client.projects.alignments.list(projectId) und .get(projectId, alignmentId), um typisierte Timing-Ressourcen zu lesen. .update(projectId, alignmentId, body) ersetzt Timings ohne Synchronisierungsjob oder Processing-Credit-Hold. Der Update-Body erfordert das vollständige alignment und expectedRevision. Füge select: true und expectedSelectionRevision hinzu, um das gespeicherte Alignment atomar auszuwählen. .select(projectId, alignmentId, { expectedRevision, expectedSelectionRevision }) wählt bestehende Timings aus. Beide Revisionen schützen vor gleichzeitigen Änderungen. Eine veraltete Revision gibt HTTP 409 zurück. Behalte Item-IDs, Text, Indizes, Sänger und Übersetzungen beim Bearbeiten bei. Zeiten sind absolute Sekunden. Jedes Ende muss größer als sein Start sein. Ungültige, negative oder außerhalb der Dauer liegende Timings werden abgelehnt. Zulässige Überlappungen und Duett-Timings werden unterstützt. Siehe Automate lyric videos für eine vollständige Timing-Bearbeitung und Konfliktbehandlung.

Overview

How To

Customization

Audio

Settings

Exporting

Account

`client.projects.syncLyrics(projectId, body, options?)`

Lyrics source

Sync models

End-to-end example

What’s next

Discover supported models

Edit existing timings

​client.projects.syncLyrics(projectId, body, options?)

​Lyrics source

​Sync models

​End-to-end example

​What’s next

​Discover supported models

​Edit existing timings

`client.projects.syncLyrics(projectId, body, options?)`

Lyrics source

Sync models

End-to-end example

What’s next

Discover supported models

Edit existing timings