https://github.com/DoodleBears/split-lang

<aside> 💡

文字を言語ごとに分割するpython package

</aside>

●       GitHubで30+スターを獲得

●       Bodouxを利用で、中国語と日本語共存テキストを wtpsplit 方法より 10 倍以上早くそして正しく分割する

• fasttext 言語認識とwordfreq 単語頻度で同言語 substring を合併