前端计算Tokens

openai官方提供了一个token计算的网站：https://platform.openai.com/tokenizer

前端计算token的库是tiktoken：https://www.npmjs.com/package/tiktoken

我的前端项目用的是vite，所以需要加入以下内容

mport wasm from "vite-plugin-wasm";
import topLevelAwait from "vite-plugin-top-level-await";
import { defineConfig } from "vite";

export default defineConfig({
  plugins: [wasm(), topLevelAwait()],
});

在代码中使用

import { get_encoding, encoding_for_model } from "tiktoken";
const encodeStr = enc.encode("hello world");
console.log(`tokens: ${encodeStr.length}`);