Tokenization | نشانهگذاری
تاریخ بهروزرسانی: امروز
...
نشانهگذاری فرایندی در پردازش زبان طبیعی است که در آن متن به اجزای کوچکتری به نام توکنها (Tokens) تقسیم میشود. این اجزا میتوانند کلمات، جملات یا عبارات باشند و برای تجزیه و تحلیل متن بهکار میروند.