LanguageModel

Statische Methoden

LanguageModel.availability()

Gibt ein Promise zurück, das mit einem enumerierten Wert aufgelöst wird, der anzeigt, ob das Sprachmodell für die angegebenen Optionen verfügbar ist.

LanguageModel.create()

Gibt ein Promise zurück, das mit einer neuen LanguageModel-Sitzung aufgelöst wird und bei Bedarf die Modelldaten herunterlädt.

Instanzmethoden

LanguageModel.append()

Gibt ein Promise zurück, das aufgelöst wird, wenn die angegebene Eingabe dem Kontextfenster der Sitzung hinzugefügt wurde, ohne eine Antwort zu generieren.

LanguageModel.clone()

Gibt ein Promise zurück, das mit einer neuen LanguageModel-Sitzung aufgelöst wird, die eine Kopie der Sitzung ist, auf der sie aufgerufen wird, einschließlich des gesamten Kontexts.

LanguageModel.destroy()

Gibt die Ressourcen frei, die der LanguageModel-Instanz zugewiesen sind, auf der sie aufgerufen wird, und stoppt jegliche weitere Aktivität darauf.

LanguageModel.measureContextUsage()

Gibt ein Promise zurück, das mit der Anzahl der Kontextfenstertoken aufgelöst wird, die die angegebene Eingabe verbrauchen würde, wenn sie in einer Operation wie prompt() oder append() verwendet würde.

LanguageModel.prompt()

Gibt ein Promise zurück, das mit der vollständigen Antwort des Modells auf die angegebene Eingabe aufgelöst wird.

LanguageModel.promptStreaming()

Gibt einen ReadableStream zurück, der die Antwort des Modells auf die angegebene Eingabe streamt, während sie generiert wird.

Instanzeigenschaften

LanguageModel.contextUsage Schreibgeschützt

Gibt die Anzahl der momentan von dieser Sitzung verbrauchten Kontextfenstertoken zurück.

LanguageModel.contextWindow Schreibgeschützt

Gibt die gesamte für diese Sitzung verfügbare Kontextfenstergröße in Token zurück.

Ereignisse

contextoverflow

Wird ausgelöst, wenn ein prompt(), promptStreaming() oder append()-Aufruf die Größe des Kontextfensters überschreitet.

Beispiele

Erstellen einer Sitzung und Auffordern des Modells

Dieses Beispiel ruft zuerst create() auf, um eine neue Sitzung zu erhalten. Es gibt vor, dass das Sprachmodell eine "system"-Rolle annimmt und definiert, wie es sich verhalten soll. Beachten Sie, dass das Beispiel await verwendet, da create() ein Promise zurückgibt. Dies kann einige Zeit in Anspruch nehmen, wenn das Modell heruntergeladen werden muss.

Nach dem Erstellen der Sitzung ruft das Beispiel prompt() auf, um eine spezifische Frage zu stellen.

const session = await LanguageModel.create({
  initialPrompts: [
    {
      role: "system",
      content: "You are a helpful assistant.",
    },
  ],
});

const response = await session.prompt("What is the capital of France?");
console.log(response); // "The capital of France is Paris."

Streamen einer Antwort

Dieses Beispiel ruft promptStreaming() auf, um eine Instanz von ReadableStream zu erhalten und schreibt sie in Chunks auf die Konsole.

const session = await LanguageModel.create();
const readableStream = session.promptStreaming("Tell me a short story.");

for await (const chunk of readableStream) {
  console.log(chunk);
}

Spezifikationen

Browser-Kompatibilität

Siehe auch

• Prompt API