🪙 refactor: Update tokens.js for Added Context Buffer from Max (#1573)

* Update tokens.js

* chore: linting previous PR

* chore: adjust token limits, add buffers

* chore: linting

* chore: adjust 32k gpt-4 limit

api/utils/tokens.js

@@ -40,19 +40,19 @@ const models = [
 ];
 
 const openAIModels = {
-  'gpt-4': 8191,
+  'gpt-4': 8187, // -5 from max
-  'gpt-4-0613': 8191,
+  'gpt-4-0613': 8187, // -5 from max
-  'gpt-4-32k': 32767,
+  'gpt-4-32k': 32758, // -10 from max
-  'gpt-4-32k-0314': 32767,
+  'gpt-4-32k-0314': 32758, // -10 from max
-  'gpt-4-32k-0613': 32767,
+  'gpt-4-32k-0613': 32758, // -10 from max
-  'gpt-3.5-turbo': 4095,
+  'gpt-3.5-turbo': 4092, // -5 from max
-  'gpt-3.5-turbo-0613': 4095,
+  'gpt-3.5-turbo-0613': 4092, // -5 from max
-  'gpt-3.5-turbo-0301': 4095,
+  'gpt-3.5-turbo-0301': 4092, // -5 from max
-  'gpt-3.5-turbo-16k': 15999,
+  'gpt-3.5-turbo-16k': 16375, // -10 from max
-  'gpt-3.5-turbo-16k-0613': 15999,
+  'gpt-3.5-turbo-16k-0613': 16375, // -10 from max
-  'gpt-3.5-turbo-1106': 16380, // -5 from max
+  'gpt-3.5-turbo-1106': 16375, // -10 from max
-  'gpt-4-1106': 127995, // -5 from max
+  'gpt-4-1106': 127990, // -10 from max
-  'mistral-': 31995, // -5 from max
+  'mistral-': 31990, // -10 from max
 };
 
 // Order is important here: by model series and context size (gpt-4 then gpt-3, ascending)

client/src/localization/Translation.tsx

@@ -16,6 +16,7 @@ import Vietnamese from './languages/Vi';
 import Turkish from './languages/Tr';
 import Dutch from './languages/Nl';
 import Indonesia from './languages/Id';
+
 // === import additional language files here === //
 
 const languageMap: { [key: string]: unknown } = {

client/src/localization/languages/Br.tsx

@@ -1,4 +1,5 @@
 // Portuguese phrases
+
 export default {
   com_ui_examples: 'Exemplos',
   com_ui_new_chat: 'Novo Chat',

client/src/localization/languages/Eng.tsx

@@ -1,4 +1,5 @@
 // English phrases
+
 export default {
   com_ui_examples: 'Examples',
   com_ui_new_chat: 'New Chat',

client/src/localization/languages/Id.tsx

@@ -29,13 +29,15 @@ export default {
   com_ui_showing: 'Menampilkan',
   com_ui_of: 'dari',
   com_ui_entries: 'Entri',
-    com_ui_pay_per_call: 'Semua percakapan AI di satu tempat. Bayar per panggilan dan bukan per bulan',
+  com_ui_pay_per_call:
+    'Semua percakapan AI di satu tempat. Bayar per panggilan dan bukan per bulan',
   com_ui_new_footer: 'Semua percakapan AI di satu tempat.',
   com_ui_enter: 'Masuk',
   com_ui_submit: 'Kirim',
   com_ui_upload_success: 'Berhasil mengunggah file',
   com_ui_upload_error: 'Ada kesalahan saat mengunggah file Anda',
-    com_ui_upload_invalid: 'File tidak valid untuk diunggah. Harus berupa gambar yang tidak melebihi 2 MB',
+  com_ui_upload_invalid:
+    'File tidak valid untuk diunggah. Harus berupa gambar yang tidak melebihi 2 MB',
   com_ui_cancel: 'Batal',
   com_ui_save: 'Simpan',
   com_ui_save_submit: 'Simpan & Kirim',
@@ -61,8 +63,7 @@ export default {
     'Tidak dapat masuk dengan informasi yang diberikan. Silakan periksa kredensial Anda dan coba lagi.',
   com_auth_error_login_rl:
     'Terlalu banyak upaya masuk dalam waktu singkat. Silakan coba lagi nanti.',
-    com_auth_error_login_ban: 
+  com_auth_error_login_ban: 'Akun Anda telah dilarang sementara karena pelanggaran layanan kami.',
-      'Akun Anda telah dilarang sementara karena pelanggaran layanan kami.',
   com_auth_error_login_server:
     'Ada kesalahan server internal. Harap tunggu beberapa saat dan coba lagi.',
   com_auth_no_account: 'Tidak memiliki akun?',
@@ -87,8 +88,7 @@ export default {
   com_auth_password_not_match: 'Kata sandi tidak cocok',
   com_auth_continue: 'Lanjutkan',
   com_auth_create_account: 'Buat akun Anda',
-    com_auth_error_create: 
+  com_auth_error_create: 'Ada kesalahan saat mencoba mendaftarkan akun Anda. Silakan coba lagi.',
-      'Ada kesalahan saat mencoba mendaftarkan akun Anda. Silakan coba lagi.',
   com_auth_full_name: 'Nama lengkap',
   com_auth_name_required: 'Nama diperlukan',
   com_auth_name_min_length: 'Nama harus setidaknya 3 karakter',
@@ -144,7 +144,8 @@ export default {
   com_endpoint_google_maxoutputtokens:
     'Jumlah maksimum token yang dapat dihasilkan dalam respons. Tentukan nilai yang lebih rendah untuk respons yang lebih pendek dan nilai yang lebih tinggi untuk respons yang lebih panjang.',
   com_endpoint_google_custom_name_placeholder: 'Tetapkan nama kustom untuk Google',
-    com_endpoint_prompt_prefix_placeholder: 'Tetapkan instruksi kustom atau konteks. Diabaikan jika kosong.',
+  com_endpoint_prompt_prefix_placeholder:
+    'Tetapkan instruksi kustom atau konteks. Diabaikan jika kosong.',
   com_endpoint_custom_name: 'Nama Kustom',
   com_endpoint_prompt_prefix: 'Awalan Prompt',
   com_endpoint_temperature: 'Temperatur',
@@ -243,7 +244,8 @@ export default {
   com_endpoint_config_google_cloud_platform: '(dari Google Cloud Platform)',
   com_endpoint_config_google_api_key: 'Kunci API Google',
   com_endpoint_config_google_gemini_api: '(Gemini API)',
-    com_endpoint_config_google_api_info: 'Untuk mendapatkan kunci API Bahasa Generatif Anda (untuk Gemini),',
+  com_endpoint_config_google_api_info:
+    'Untuk mendapatkan kunci API Bahasa Generatif Anda (untuk Gemini),',
   com_endpoint_config_key_import_json_key: 'Impor Kunci JSON Akun Layanan.',
   com_endpoint_config_key_import_json_key_success: 'Berhasil Mengimpor Kunci JSON Akun Layanan',
   com_endpoint_config_key_import_json_key_invalid:
@@ -253,7 +255,8 @@ export default {
     'Gunakan alat pengembang atau ekstensi saat masuk ke situs untuk menyalin konten dari cookie _U. Jika ini gagal, ikuti ini',
   com_endpoint_config_key_edge_instructions: 'instruksi',
   com_endpoint_config_key_edge_full_key_string: 'untuk memberikan string cookie lengkap.',
-    com_endpoint_config_key_chatgpt: 'Untuk mendapatkan token akses Anda Untuk ChatGPT \'Versi Gratis\', masuk ke',
+  com_endpoint_config_key_chatgpt:
+    'Untuk mendapatkan token akses Anda Untuk ChatGPT \'Versi Gratis\', masuk ke',
   com_endpoint_config_key_chatgpt_then_visit: 'kemudian kunjungi',
   com_endpoint_config_key_chatgpt_copy_token: 'Salin token akses.',
   com_endpoint_config_key_google_need_to: 'Anda perlu',
@@ -321,5 +324,4 @@ export default {
   com_nav_lang_turkish: 'Türkçe',
   com_nav_lang_dutch: 'Nederlands',
   com_nav_lang_indonesia: 'Indonesia',
-  };
+};
-  

client/src/localization/languages/Ru.tsx

@@ -4,7 +4,8 @@ export default {
   com_ui_examples: 'Примеры',
   com_ui_new_chat: 'Создать чат',
   com_ui_example_quantum_computing: 'Объясни квантовые вычисления простыми словами',
-  com_ui_example_10_year_old_b_day: 'У тебя есть креативные идеи для дня рождения 10-летнего ребенка?',
+  com_ui_example_10_year_old_b_day:
+    'У тебя есть креативные идеи для дня рождения 10-летнего ребенка?',
   com_ui_example_http_in_js: 'Как мне сделать HTTP-запрос в JavaScript?',
   com_ui_capabilities: 'Возможности',
   com_ui_capability_remember: 'Запоминает, что пользователь говорил ранее в разговоре',
@@ -143,7 +144,8 @@ export default {
   com_endpoint_google_maxoutputtokens:
     ' 	Максимальное количество токенов, которые могут быть сгенерированы в ответе. Укажите меньшее значение для более коротких ответов и большее значение для более длинных ответов.',
   com_endpoint_google_custom_name_placeholder: 'Задайте кастомное имя для Google',
-  com_endpoint_prompt_prefix_placeholder: 'Задайте пользовательские инструкции или контекст. Игнорируется, если пусто.',
+  com_endpoint_prompt_prefix_placeholder:
+    'Задайте пользовательские инструкции или контекст. Игнорируется, если пусто.',
   com_endpoint_custom_name: 'Кастомное имя',
   com_endpoint_prompt_prefix: 'Префикс промта',
   com_endpoint_temperature: 'Температура',
@@ -182,13 +184,17 @@ export default {
   com_endpoint_plug_set_custom_instructions_for_gpt_placeholder:
     'Задайте кастомные инструкции для включения в системное сообщение. По умолчанию: нет',
   com_endpoint_import: 'Импортировать',
-  com_endpoint_set_custom_name: 'Задайте кастомное имя на случай, если вы сможете найти эту предустановку :)',
+  com_endpoint_set_custom_name:
+    'Задайте кастомное имя на случай, если вы сможете найти эту предустановку :)',
   com_endpoint_preset_delete_confirm: 'Вы уверены, что хотите удалить этот пресет?',
   com_endpoint_preset_clear_all_confirm: 'Вы уверены, что хотите удалить все ваши пресеты?',
   com_endpoint_preset_import: 'Пресет Импортирован!',
-  com_endpoint_preset_import_error: 'Произошла ошибка при импорте вашего пресета. Пожалуйста, попробуйте еще раз.',
+  com_endpoint_preset_import_error:
-  com_endpoint_preset_save_error: 'Произошла ошибка при сохранении вашего пресета. Пожалуйста, попробуйте еще раз.',
+    'Произошла ошибка при импорте вашего пресета. Пожалуйста, попробуйте еще раз.',
-  com_endpoint_preset_delete_error: 'Произошла ошибка при удалении вашего пресета. Пожалуйста, попробуйте еще раз.',
+  com_endpoint_preset_save_error:
+    'Произошла ошибка при сохранении вашего пресета. Пожалуйста, попробуйте еще раз.',
+  com_endpoint_preset_delete_error:
+    'Произошла ошибка при удалении вашего пресета. Пожалуйста, попробуйте еще раз.',
   com_endpoint_preset_default_removed: 'больше не пресет по умолчанию.',
   com_endpoint_preset_default_item: 'По умолчанию:',
   com_endpoint_preset_default_none: 'Нет активных пресетов По умолчанию.',
@@ -238,7 +244,8 @@ export default {
   com_endpoint_config_google_cloud_platform: '(из Google Cloud Platform)',
   com_endpoint_config_google_api_key: 'Google API Key',
   com_endpoint_config_google_gemini_api: '(Gemini API)',
-  com_endpoint_config_google_api_info: 'Чтобы получить ключ к API Generative Language (для Gemini),',
+  com_endpoint_config_google_api_info:
+    'Чтобы получить ключ к API Generative Language (для Gemini),',
   com_endpoint_config_key_import_json_key: 'Импортировать Service Account JSON Key.',
   com_endpoint_config_key_import_json_key_success: 'Успешно Импортирован Service Account JSON Key',
   com_endpoint_config_key_import_json_key_invalid:
@@ -248,7 +255,8 @@ export default {
     'Пока вы на сайте, используйте dev tools или расширение чтобы скопировать содержимое куки _U. Если не получается, следуйте этим',
   com_endpoint_config_key_edge_instructions: 'инструкциям',
   com_endpoint_config_key_edge_full_key_string: 'чтобы получить все строки cookie.',
-  com_endpoint_config_key_chatgpt: 'Чтобы получить токен доступа к "Бесплатной Версии" ChatGPT, войдите в',
+  com_endpoint_config_key_chatgpt:
+    'Чтобы получить токен доступа к "Бесплатной Версии" ChatGPT, войдите в',
   com_endpoint_config_key_chatgpt_then_visit: 'затем посетите',
   com_endpoint_config_key_chatgpt_copy_token: 'Скопируйте токен доступа.',
   com_endpoint_config_key_google_need_to: 'Вам нужно',

client/src/localization/languages/Zh.tsx

@@ -12,8 +12,7 @@ export default {
   com_ui_capability_decline_requests: '限制不当信息',
   com_ui_limitations: '局限性',
   com_ui_limitation_incorrect_info: '可能会不时出现错误信息',
-  com_ui_limitation_harmful_biased: 
+  com_ui_limitation_harmful_biased: '可能会提供有害指示或者偏见',
-    '可能会提供有害指示或者偏见',
   com_ui_limitation_limited_2021: '基于2021年以前信息训练',
   com_ui_experimental: '实验性',
   com_ui_input: '输入',