
    9ii                         S SK r S SKrS SKr " S S\5      r\S:X  a4  \" 5       r\R                   H  r\R                  \5      r
\" \
5        M     gg)    Nc                   &    \ rS rSrS rS rS rSrg)	TextClean   c                 ~   / SQnUR                  [        SS5      5        UR                  [        SS5      5        UR                  [        SS5      5        [        U Vs/ s H  n[        U5      PM     sn5      U l        [
        R                  " S[
        R                  5      U l        S	S	S	S	S
SSS.U l	        g s  snf )N)   i  i/   i_    0       i   i   ij   il   r	   i   i   i    r
         z\s+'   °-)`u   ’   ´u   ‘   ºu   –u   —)
extendrangesetchrspacesrecompileUNICODE	space_patreplace_char)selfspuis      g/var/www/html/land-doc-ocr/venv/lib/python3.13/site-packages/modelscope/preprocessors/nlp/text_clean.py__init__TextClean.__init__
   s    
 	

5,-

5,-

5x()3/3a3q63/0FBJJ7 
	 0s   B:c                 p    [        U5      nSUs=:  a  S:  a	  O  OUS-  nOUS:X  a  SnOU$ [        U5      $ )Ni   i_  i  r       )ordr   )r   chns      r    sbc2dbcTextClean.sbc2dbc!   s;    GAKA&[AI1v    c                     [        UR                  5       5      n[        U5      nSnXC:  ab  X$   S:  d  X$   U R                  ;   a  SX$'   O7U R                  R                  X$   X$   5      X$'   U R                  X$   5      X$'   US-  nXC:  a  Mb  SR                  U5      nU R                  R                  SU5      R                  5       nU$ ! [         a     gf = f)Nr        )liststriplenr   r   getr(   joinr   sub	Exception)r   slinesizer   s        r    cleanTextClean.clean+   s    		?Dt9DA(7T>TW%;"DG"//33DGTWEDG"ll473DGQ ( 774=D>>%%c40668DK 		s   BC <C 
CC)r   r   r   N)__name__
__module____qualname____firstlineno__r!   r(   r9   __static_attributes__ r*   r    r   r      s    
.r*   r   __main__)codecsr   sysobjectr   r;   tcstdinr7   r9   resprintr@   r*   r    <module>rI      sU     	 
5 5p z	B		hhtnc
 	 r*   