Claudeの最近のトークナイザーチェックしてないけど、日本語の扱いはChatGPTとほとんど変わらなかったはずなんだよね(1文字1-2トークン)。英語もChatGPTと同じで1単語1トークンだろうから、LLMからすると日本語は情報量が少ない……多い……どっちだ? ともかくコストが悪いんですよね。
まあでも流石にちょっとそこまでは試せないか、それこそ次の課題だなあ。
Claudeの最近のトークナイザーチェックしてないけど、日本語の扱いはChatGPTとほとんど変わらなかったはずなんだよね(1文字1-2トークン)。英語もChatGPTと同じで1単語1トークンだろうから、LLMからすると日本語は情報量が少ない……多い……どっちだ? ともかくコストが悪いんですよね。
まあでも流石にちょっとそこまでは試せないか、それこそ次の課題だなあ。