Manfaat dari proses tokenizing itu sendiri adalah sebagai berikut :
1. Memotong setiap kata dalam teks, dan mengubahnya menjadi huruf kecil.
2. Hanya huruf „a' sampai „z' yang diterima, sedangkan karakter selain huruf dihilangkan.
3. Hasilnya adalah kata-kata yang merupakan penyusun kalimat yang dimasukkan.
4. Menghasilkan kata-kata yang berdiri sendiri
by. ulfah Hasanah
1. Memotong setiap kata dalam teks, dan mengubahnya menjadi huruf kecil.
2. Hanya huruf „a' sampai „z' yang diterima, sedangkan karakter selain huruf dihilangkan.
3. Hasilnya adalah kata-kata yang merupakan penyusun kalimat yang dimasukkan.
4. Menghasilkan kata-kata yang berdiri sendiri
by. ulfah Hasanah
