Gate 新闻消息，4 月 29 日——AI 研究员 Aran Komatsuzaki 通过将 Rich Sutton 的开创性论文《The Bitter Lesson》翻译成九种语言，并在 OpenAI、Gemini、Qwen、DeepSeek、Kimi 和 Claude 的分词器上进行处理，对六个主要 AI 模型的分词效率进行了对比分析。以 OpenAI 上英文版本的分词数量作为基准 (1x)，研究发现了显著差异：在 Claude 上处理相同内容时，中文所需分词数为 1.65x，而在 OpenAI 上仅为 1.15x。印地语在 Claude 上的结果更为极端，超过基准 3 倍以上。Anthropic 在这六个测试模型中排名最低。
关键在于，当相同的中文文本在不同模型中进行处理——且都以同一个英文基准进行测量时——结果出现了惊人的分歧：Kimi 仅消耗 0.81x 个分词 (甚至少于英文)，Qwen 为 0.85x，而 Claude 需要 1.65x。这个差距揭示的是纯粹的分词效率问题，而不是语言本身的问题。中文模型在处理中文时表现出更高效率，这表明差异源于分词器的优化，而非语言本身。
对用户的实际影响十分重大：分词消耗的增加会直接推高 API 成本、延长模型响应延迟，并更快耗尽上下文窗口。分词效率取决于模型训练数据的语言构成——如果模型主要在英文上训练，它会更高效地压缩英文文本；而数据代表性较低的语言则会被分成更小、更不高效的片段。
Komatsuzaki 的结论强调了一个基础原则：市场规模决定分词效率。更大的市场会获得更好的优化，而代表性不足的语言面临显著更高的分词成本。
إخلاء المسؤولية: قد تكون المعلومات الواردة في هذه الصفحة من مصادر خارجية ولا تمثل آراء أو مواقف Gate. المحتوى المعروض في هذه الصفحة هو لأغراض مرجعية فقط ولا يشكّل أي نصيحة مالية أو استثمارية أو قانونية. لا تضمن Gate دقة أو اكتمال المعلومات، ولا تتحمّل أي مسؤولية عن أي خسائر ناتجة عن استخدام هذه المعلومات. تنطوي الاستثمارات في الأصول الافتراضية على مخاطر عالية وتخضع لتقلبات سعرية كبيرة. قد تخسر كامل رأس المال المستثمر. يرجى فهم المخاطر ذات الصلة فهمًا كاملًا واتخاذ قرارات مدروسة بناءً على وضعك المالي وقدرتك على تحمّل المخاطر. للتفاصيل، يرجى الرجوع إلى
إخلاء المسؤولية.
مقالات ذات صلة
شركة ناشئة للذكاء الاصطناعي القانوني JURISPHERE تجمع 2.2 مليون دولار من InfoEdge وFlourish Ventures
وبحسب Jurisphere، فإن شركة الذكاء الاصطناعي القانونية نجحت في جمع 2.2 مليون دولار من InfoEdge Ventures وFlourish Ventures. ستدعم هذه التمويلات توسع المنصة وإطلاق سوقٍ يربط بين العملاء والمحامين عبر مساحة العمل التي تعمل بالذكاء الاصطناعي. إن برمجيات Jurisphere هي حالياً
GateNewsمنذ 1 س
هيئة تعزيز الاستثمار في هونغ كونغ تُطلق برنامج المسار السريع التاسع لعام 2026، لتغطي 8 قطاعات بما في ذلك تقنية البلوك تشين
بحسب هيئة ترويج الاستثمار في هونغ كونغ، فتحت النسخة التاسعة من برنامج المسار السريع 2026 باب التسجيل في 5 مايو، مع تحديد موعد نهائي لتقديم الطلبات في 25 سبتمبر. يقدم البرنامج لأول مرة ثمانية قطاعات، بما في ذلك سلسلة الكتل والأصول الرقمية، والخدمات المالية (فينتِك) والتأمين التقني (إنسورتيك)، وتطبيقات الذكاء الاصطناعي في
GateNewsمنذ 1 س
أسطورة الأنثروبيك قوية للغاية! البيت الأبيض يعتزم طلب إجراء مراجعة أمنية حكومية قبل إصدار نموذج ذكاء اصطناعي جديد
بسبب القدرات القوية لـ Mythos الخاص بـAnthropic ومخاطر السلامة، تدرس واشنطن تنفيذ تدقيق حكومي قبل إتاحة نموذج ذكاء اصطناعي جديد للجمهور، من خلال تشكيل فريق مراجعة متعدد الجهات. وسيستند ذلك إلى نموذج المملكة المتحدة لتوحيد المعايير. ويُشكّل هذا التحول في السياسة مقارنةً بالتراخي السابق اختلافًا واضحًا. ولا تزال الخلافات المتعلقة بعقدي Anthropic مع البنتاغون ومخاطر الأمن القومي مستمرة، بينما يتسارع التعاون بين الذكاء الاصطناعي لأغراض عسكرية ومدنية. ويبقى تحقيق التوازن بين الابتكار والسلامة مسألة صعبة.
ChainNewsAbmediaمنذ 1 س
أطلقت OpenClaw الإصدار 2026.5.4 في 5 مايو، مع تحسين تثبيت الإضافات وبدء بوابة الربط
بحسب BlockBeats، أطلق OpenClaw النسخة 2026.5.4 في 5 مايو، مع تحسينات لعمليات تثبيت الإضافات وبداية البوابة واستقرار المنصة. تتضمن التحديثات استعادة أكثر سلاسة لحزم الإضافات بين npm وClawHub، ومسارات بدء بوابة أسرع مع تقليل الفحص أثناء بدء التشغيل البارد ov
GateNewsمنذ 1 س
تأمين Vobiz.ai جولة تمويل $1M لبذور من أجل بنية تحتية للذكاء الاصطناعي الصوتي
جمعت شركة Vobiz.ai، ومقرها بنغالورو، وهي شركة ناشئة للبنية التحتية للاتصالات من أجل الذكاء الاصطناعي الصوتي، 1 مليون دولار في جولة تمويل أولية بقيادة صندوق Piper Serica VC، وفقًا للشركة. أسسها كل من سومَن غاندهم وفيكاش سريفاستافا، وهما من التنفيذيين السابقين في Plivo وFinin، وVobiz
GateNewsمنذ 2 س
كشفت محكمة عن ملكية رئيس شركة OpenAI بروكمان بقيمة 30 مليار دولار، وتشابك استثماراته الخاصة مع استثمارات آلتمان بشكل كبير
في 4 مايو، كشف تحقيق في محكمة دعوى مرفوعة من مسك عن أن جريج بروكمان يملك حوالي 30 مليار دولار من أسهم OpenAI، وهي استثمارات متشابكة بشكل كبير مع استثمارات سام ألتمان الخاصة، وتنطوي على ثلاث مصالح: Cerebras وHelion Energy وصندوق عائلة ألتمان. ويُنظر إلى هذا التشابك باعتباره دليلاً على دوافع بروكمان لدعم التحول إلى الكيان الربحي، كما يثير جدلاً حوكميًا حول كيفية انتقال OpenAI من منظمة غير ربحية إلى شركة ربحية.
ChainNewsAbmediaمنذ 2 س
