U T F - 8   d e c o d e r   c a p a b i l i t y   a n d   s t r e s s   t e s t 
 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 
 
 M a r k u s   K u h n   < h t t p : / / w w w . c l . c a m . a c . u k / ~ m g k 2 5 / >   -   2 0 1 5 - 0 8 - 2 8   -   C C   B Y   4 . 0 
 
 T h i s   t e s t   f i l e   c a n   h e l p   y o u   e x a m i n e ,   h o w   y o u r   U T F - 8   d e c o d e r   h a n d l e s 
 v a r i o u s   t y p e s   o f   c o r r e c t ,   m a l f o r m e d ,   o r   o t h e r w i s e   i n t e r e s t i n g   U T F - 8 
 s e q u e n c e s .   T h i s   f i l e   i s   n o t   m e a n t   t o   b e   a   c o n f o r m a n c e   t e s t .   I t   d o e s 
 n o t   p r e s c r i b e   a n y   p a r t i c u l a r   o u t c o m e .   T h e r e f o r e ,   t h e r e   i s   n o   w a y   t o 
 " p a s s "   o r   " f a i l "   t h i s   t e s t   f i l e ,   e v e n   t h o u g h   t h e   t e x t   d o e s   s u g g e s t   a 
 p r e f e r a b l e   d e c o d e r   b e h a v i o u r   a t   s o m e   p l a c e s .   I t s   a i m   i s ,   i n s t e a d ,   t o 
 h e l p   y o u   t h i n k   a b o u t ,   a n d   t e s t ,   t h e   b e h a v i o u r   o f   y o u r   U T F - 8   d e c o d e r   o n   a 
 s y s t e m a t i c   c o l l e c t i o n   o f   u n u s u a l   i n p u t s .   E x p e r i e n c e   s o   f a r   s u g g e s t s 
 t h a t   m o s t   f i r s t - t i m e   a u t h o r s   o f   U T F - 8   d e c o d e r s   f i n d   a t   l e a s t   o n e 
 s e r i o u s   p r o b l e m   i n   t h e i r   d e c o d e r   u s i n g   t h i s   f i l e . 
 
 T h e   t e s t   l i n e s   b e l o w   c o v e r   b o u n d a r y   c o n d i t i o n s ,   m a l f o r m e d   U T F - 8 
 s e q u e n c e s ,   a s   w e l l   a s   c o r r e c t l y   e n c o d e d   U T F - 8   s e q u e n c e s   o f   U n i c o d e   c o d e 
 p o i n t s   t h a t   s h o u l d   n e v e r   o c c u r   i n   a   c o r r e c t   U T F - 8   f i l e . 
 
 A c c o r d i n g   t o   I S O   1 0 6 4 6 - 1 : 2 0 0 0 ,   s e c t i o n s   D . 7   a n d   2 . 3 c ,   a   d e v i c e 
 r e c e i v i n g   U T F - 8   s h a l l   i n t e r p r e t   a   " m a l f o r m e d   s e q u e n c e   i n   t h e   s a m e   w a y 
 t h a t   i t   i n t e r p r e t s   a   c h a r a c t e r   t h a t   i s   o u t s i d e   t h e   a d o p t e d   s u b s e t "   a n d 
 " c h a r a c t e r s   t h a t   a r e   n o t   w i t h i n   t h e   a d o p t e d   s u b s e t   s h a l l   b e   i n d i c a t e d 
 t o   t h e   u s e r "   b y   a   r e c e i v i n g   d e v i c e .   O n e   c o m m o n l y   u s e d   a p p r o a c h   i n 
 U T F - 8   d e c o d e r s   i s   t o   r e p l a c e   a n y   m a l f o r m e d   U T F - 8   s e q u e n c e   b y   a 
 r e p l a c e m e n t   c h a r a c t e r   ( U + F F F D ) ,   w h i c h   l o o k s   a   b i t   l i k e   a n   i n v e r t e d 
 q u e s t i o n   m a r k ,   o r   a   s i m i l a r   s y m b o l .   I t   m i g h t   b e   a   g o o d   i d e a   t o 
 v i s u a l l y   d i s t i n g u i s h   a   m a l f o r m e d   U T F - 8   s e q u e n c e   f r o m   a   c o r r e c t l y 
 e n c o d e d   U n i c o d e   c h a r a c t e r   t h a t   i s   j u s t   n o t   a v a i l a b l e   i n   t h e   c u r r e n t 
 f o n t   b u t   o t h e r w i s e   f u l l y   l e g a l ,   e v e n   t h o u g h   I S O   1 0 6 4 6 - 1   d o e s n ' t 
 m a n d a t e   t h i s .   I n   a n y   c a s e ,   j u s t   i g n o r i n g   m a l f o r m e d   s e q u e n c e s   o r 
 u n a v a i l a b l e   c h a r a c t e r s   d o e s   n o t   c o n f o r m   t o   I S O   1 0 6 4 6 ,   w i l l   m a k e 
 d e b u g g i n g   m o r e   d i f f i c u l t ,   a n d   c a n   l e a d   t o   u s e r   c o n f u s i o n . 
 
 P l e a s e   c h e c k ,   w h e t h e r   a   m a l f o r m e d   U T F - 8   s e q u e n c e   i s   ( 1 )   r e p r e s e n t e d   a t 
 a l l ,   ( 2 )   r e p r e s e n t e d   b y   e x a c t l y   o n e   s i n g l e   r e p l a c e m e n t   c h a r a c t e r   ( o r 
 e q u i v a l e n t   s i g n a l ) ,   a n d   ( 3 )   t h e   f o l l o w i n g   q u o t a t i o n   m a r k   a f t e r   a n 
 i l l e g a l   U T F - 8   s e q u e n c e   i s   c o r r e c t l y   d i s p l a y e d ,   i . e .   p r o p e r 
 r e s y n c h r o n i z a t i o n   t a k e s   p l a c e   i m m e d i a t e l y   a f t e r   a n y   m a l f o r m e d 
 s e q u e n c e .   T h i s   f i l e   s a y s   " T H E   E N D "   i n   t h e   l a s t   l i n e ,   s o   i f   y o u   d o n ' t 
 s e e   t h a t ,   y o u r   d e c o d e r   c r a s h e d   s o m e h o w   b e f o r e ,   w h i c h   s h o u l d   a l w a y s   b e 
 c a u s e   f o r   c o n c e r n . 
 
 A l l   l i n e s   i n   t h i s   f i l e   a r e   e x a c t l y   7 9   c h a r a c t e r s   l o n g   ( p l u s   t h e   l i n e 
 f e e d ) .   I n   a d d i t i o n ,   a l l   l i n e s   e n d   w i t h   " | " ,   e x c e p t   f o r   t h e   t w o   t e s t 
 l i n e s   2 . 1 . 1   a n d   2 . 2 . 1 ,   w h i c h   c o n t a i n   n o n - p r i n t a b l e   A S C I I   c o n t r o l s 
 U + 0 0 0 0   a n d   U + 0 0 7 F .   I f   y o u   d i s p l a y   t h i s   f i l e   w i t h   a   f i x e d - w i d t h   f o n t , 
 t h e s e   " | "   c h a r a c t e r s   s h o u l d   a l l   l i n e   u p   i n   c o l u m n   7 9   ( r i g h t   m a r g i n ) . 
 T h i s   a l l o w s   y o u   t o   t e s t   q u i c k l y ,   w h e t h e r   y o u r   U T F - 8   d e c o d e r   f i n d s   t h e 
 c o r r e c t   n u m b e r   o f   c h a r a c t e r s   i n   e v e r y   l i n e ,   t h a t   i s   w h e t h e r   e a c h 
 m a l f o r m e d   s e q u e n c e s   i s   r e p l a c e d   b y   a   s i n g l e   r e p l a c e m e n t   c h a r a c t e r . 
 
 N o t e   t h a t ,   a s   a n   a l t e r n a t i v e   t o   t h e   n o t i o n   o f   m a l f o r m e d   s e q u e n c e   u s e d 
 h e r e ,   i t   i s   a l s o   a   p e r f e c t l y   a c c e p t a b l e   ( a n d   i n   s o m e   s i t u a t i o n s   e v e n 
 p r e f e r a b l e )   s o l u t i o n   t o   r e p r e s e n t   e a c h   i n d i v i d u a l   b y t e   o f   a   m a l f o r m e d 
 s e q u e n c e   w i t h   a   r e p l a c e m e n t   c h a r a c t e r .   I f   y o u   f o l l o w   t h i s   s t r a t e g y   i n 
 y o u r   d e c o d e r ,   t h e n   p l e a s e   i g n o r e   t h e   " | "   c o l u m n . 
 
 
 H e r e   c o m e   t h e   t e s t s :                                                                                                                     | 
                                                                                                                                                             | 
 1     S o m e   c o r r e c t   U T F - 8   t e x t                                                                                                         | 
                                                                                                                                                             | 
 Y o u   s h o u l d   s e e   t h e   G r e e k   w o r d   ' k o s m e ' :               " y"                                                     | 
                                                                                                                                                             | 
 2     B o u n d a r y   c o n d i t i o n   t e s t   c a s e s                                                                                             | 
                                                                                                                                                             | 
 2 . 1     F i r s t   p o s s i b l e   s e q u e n c e   o f   a   c e r t a i n   l e n g t h                                                             | 
                                                                                                                                                             | 
 2 . 1 . 1     1   b y t e     ( U - 0 0 0 0 0 0 0 0 ) :                 "   "                                                                                 
 2 . 1 . 2     2   b y t e s   ( U - 0 0 0 0 0 0 8 0 ) :                 "  "                                                                               | 
 2 . 1 . 3     3   b y t e s   ( U - 0 0 0 0 0 8 0 0 ) :                 "  "                                                                               | 
 2 . 1 . 4     4   b y t e s   ( U - 0 0 0 1 0 0 0 0 ) :                 "   "                                                                               | 
 2 . 1 . 5     5   b y t e s   ( U - 0 0 2 0 0 0 0 0 ) :                 " "                                                                               | 
 2 . 1 . 6     6   b y t e s   ( U - 0 4 0 0 0 0 0 0 ) :                 " "                                                                               | 
                                                                                                                                                             | 
 2 . 2     L a s t   p o s s i b l e   s e q u e n c e   o f   a   c e r t a i n   l e n g t h                                                               | 
                                                                                                                                                             | 
 2 . 2 . 1     1   b y t e     ( U - 0 0 0 0 0 0 7 F ) :                 "  "                                                                                 
 2 . 2 . 2     2   b y t e s   ( U - 0 0 0 0 0 7 F F ) :                 " "                                                                               | 
 2 . 2 . 3     3   b y t e s   ( U - 0 0 0 0 F F F F ) :                 " "                                                                               | 
 2 . 2 . 4     4   b y t e s   ( U - 0 0 1 F F F F F ) :                 " "                                                                               | 
 2 . 2 . 5     5   b y t e s   ( U - 0 3 F F F F F F ) :                 " "                                                                               | 
 2 . 2 . 6     6   b y t e s   ( U - 7 F F F F F F F ) :                 " "                                                                               | 
                                                                                                                                                             | 
 2 . 3     O t h e r   b o u n d a r y   c o n d i t i o n s                                                                                                 | 
                                                                                                                                                             | 
 2 . 3 . 1     U - 0 0 0 0 D 7 F F   =   e d   9 f   b f   =   " "                                                                                         | 
 2 . 3 . 2     U - 0 0 0 0 E 0 0 0   =   e e   8 0   8 0   =   "  "                                                                                         | 
 2 . 3 . 3     U - 0 0 0 0 F F F D   =   e f   b f   b d   =   " "                                                                                         | 
 2 . 3 . 4     U - 0 0 1 0 F F F F   =   f 4   8 f   b f   b f   =   " "                                                                                   | 
 2 . 3 . 5     U - 0 0 1 1 0 0 0 0   =   f 4   9 0   8 0   8 0   =   " "                                                                                   | 
                                                                                                                                                             | 
 3     M a l f o r m e d   s e q u e n c e s                                                                                                                 | 
                                                                                                                                                             | 
 3 . 1     U n e x p e c t e d   c o n t i n u a t i o n   b y t e s                                                                                         | 
                                                                                                                                                             | 
 E a c h   u n e x p e c t e d   c o n t i n u a t i o n   b y t e   s h o u l d   b e   s e p a r a t e l y   s i g n a l l e d   a s   a                   | 
 m a l f o r m e d   s e q u e n c e   o f   i t s   o w n .                                                                                                 | 
                                                                                                                                                             | 
 3 . 1 . 1     F i r s t   c o n t i n u a t i o n   b y t e   0 x 8 0 :   " "                                                                             | 
 3 . 1 . 2     L a s t     c o n t i n u a t i o n   b y t e   0 x b f :   " "                                                                             | 
                                                                                                                                                             | 
 3 . 1 . 3     2   c o n t i n u a t i o n   b y t e s :   " "                                                                                           | 
 3 . 1 . 4     3   c o n t i n u a t i o n   b y t e s :   " "                                                                                         | 
 3 . 1 . 5     4   c o n t i n u a t i o n   b y t e s :   " "                                                                                       | 
 3 . 1 . 6     5   c o n t i n u a t i o n   b y t e s :   " "                                                                                     | 
 3 . 1 . 7     6   c o n t i n u a t i o n   b y t e s :   " "                                                                                   | 
 3 . 1 . 8     7   c o n t i n u a t i o n   b y t e s :   " "                                                                                 | 
                                                                                                                                                             | 
 3 . 1 . 9     S e q u e n c e   o f   a l l   6 4   p o s s i b l e   c o n t i n u a t i o n   b y t e s   ( 0 x 8 0 - 0 x b f ) :                         | 
                                                                                                                                                             | 
       "                                                                                                                     | 
                                                                                                                             | 
                                                                                                                             | 
         "                                                                                                                   | 
                                                                                                                                                             | 
 3 . 2     L o n e l y   s t a r t   c h a r a c t e r s                                                                                                     | 
                                                                                                                                                             | 
 3 . 2 . 1     A l l   3 2   f i r s t   b y t e s   o f   2 - b y t e   s e q u e n c e s   ( 0 x c 0 - 0 x d f ) ,                                         | 
               e a c h   f o l l o w e d   b y   a   s p a c e   c h a r a c t e r :                                                                         | 
                                                                                                                                                             | 
       "                                                                                                                     | 
                                         "                                                                                   | 
                                                                                                                                                             | 
 3 . 2 . 2     A l l   1 6   f i r s t   b y t e s   o f   3 - b y t e   s e q u e n c e s   ( 0 x e 0 - 0 x e f ) ,                                         | 
               e a c h   f o l l o w e d   b y   a   s p a c e   c h a r a c t e r :                                                                         | 
                                                                                                                                                             | 
       "                                 "                                                                                   | 
                                                                                                                                                             | 
 3 . 2 . 3     A l l   8   f i r s t   b y t e s   o f   4 - b y t e   s e q u e n c e s   ( 0 x f 0 - 0 x f 7 ) ,                                           | 
               e a c h   f o l l o w e d   b y   a   s p a c e   c h a r a c t e r :                                                                         | 
                                                                                                                                                             | 
       "                 "                                                                                                                   | 
                                                                                                                                                             | 
 3 . 2 . 4     A l l   4   f i r s t   b y t e s   o f   5 - b y t e   s e q u e n c e s   ( 0 x f 8 - 0 x f b ) ,                                           | 
               e a c h   f o l l o w e d   b y   a   s p a c e   c h a r a c t e r :                                                                         | 
                                                                                                                                                             | 
       "         "                                                                                                                                   | 
                                                                                                                                                             | 
 3 . 2 . 5     A l l   2   f i r s t   b y t e s   o f   6 - b y t e   s e q u e n c e s   ( 0 x f c - 0 x f d ) ,                                           | 
               e a c h   f o l l o w e d   b y   a   s p a c e   c h a r a c t e r :                                                                         | 
                                                                                                                                                             | 
       "     "                                                                                                                                           | 
                                                                                                                                                             | 
 3 . 3     S e q u e n c e s   w i t h   l a s t   c o n t i n u a t i o n   b y t e   m i s s i n g                                                         | 
                                                                                                                                                             | 
 A l l   b y t e s   o f   a n   i n c o m p l e t e   s e q u e n c e   s h o u l d   b e   s i g n a l l e d   a s   a   s i n g l e                       | 
 m a l f o r m e d   s e q u e n c e ,   i . e . ,   y o u   s h o u l d   s e e   o n l y   a   s i n g l e   r e p l a c e m e n t                         | 
 c h a r a c t e r   i n   e a c h   o f   t h e   n e x t   1 0   t e s t s .   ( C h a r a c t e r s   a s   i n   s e c t i o n   2 )                     | 
                                                                                                                                                             | 
 3 . 3 . 1     2 - b y t e   s e q u e n c e   w i t h   l a s t   b y t e   m i s s i n g   ( U + 0 0 0 0 ) :           " "                               | 
 3 . 3 . 2     3 - b y t e   s e q u e n c e   w i t h   l a s t   b y t e   m i s s i n g   ( U + 0 0 0 0 ) :           " "                               | 
 3 . 3 . 3     4 - b y t e   s e q u e n c e   w i t h   l a s t   b y t e   m i s s i n g   ( U + 0 0 0 0 ) :           " "                               | 
 3 . 3 . 4     5 - b y t e   s e q u e n c e   w i t h   l a s t   b y t e   m i s s i n g   ( U + 0 0 0 0 ) :           " "                               | 
 3 . 3 . 5     6 - b y t e   s e q u e n c e   w i t h   l a s t   b y t e   m i s s i n g   ( U + 0 0 0 0 ) :           " "                               | 
 3 . 3 . 6     2 - b y t e   s e q u e n c e   w i t h   l a s t   b y t e   m i s s i n g   ( U - 0 0 0 0 0 7 F F ) :   " "                               | 
 3 . 3 . 7     3 - b y t e   s e q u e n c e   w i t h   l a s t   b y t e   m i s s i n g   ( U - 0 0 0 0 F F F F ) :   " "                               | 
 3 . 3 . 8     4 - b y t e   s e q u e n c e   w i t h   l a s t   b y t e   m i s s i n g   ( U - 0 0 1 F F F F F ) :   " "                               | 
 3 . 3 . 9     5 - b y t e   s e q u e n c e   w i t h   l a s t   b y t e   m i s s i n g   ( U - 0 3 F F F F F F ) :   " "                               | 
 3 . 3 . 1 0   6 - b y t e   s e q u e n c e   w i t h   l a s t   b y t e   m i s s i n g   ( U - 7 F F F F F F F ) :   " "                               | 
                                                                                                                                                             | 
 3 . 4     C o n c a t e n a t i o n   o f   i n c o m p l e t e   s e q u e n c e s                                                                         | 
                                                                                                                                                             | 
 A l l   t h e   1 0   s e q u e n c e s   o f   3 . 3   c o n c a t e n a t e d ,   y o u   s h o u l d   s e e   1 0   m a l f o r m e d                   | 
 s e q u e n c e s   b e i n g   s i g n a l l e d :                                                                                                         | 
                                                                                                                                                             | 
       " "                                                                                                                               | 
                                                                                                                                                             | 
 3 . 5     I m p o s s i b l e   b y t e s                                                                                                                   | 
                                                                                                                                                             | 
 T h e   f o l l o w i n g   t w o   b y t e s   c a n n o t   a p p e a r   i n   a   c o r r e c t   U T F - 8   s t r i n g                               | 
                                                                                                                                                             | 
 3 . 5 . 1     f e   =   " "                                                                                                                               | 
 3 . 5 . 2     f f   =   " "                                                                                                                               | 
 3 . 5 . 3     f e   f e   f f   f f   =   " "                                                                                                       | 
                                                                                                                                                             | 
 4     O v e r l o n g   s e q u e n c e s                                                                                                                   | 
                                                                                                                                                             | 
 T h e   f o l l o w i n g   s e q u e n c e s   a r e   n o t   m a l f o r m e d   a c c o r d i n g   t o   t h e   l e t t e r   o f                     | 
 t h e   U n i c o d e   2 . 0   s t a n d a r d .   H o w e v e r ,   t h e y   a r e   l o n g e r   t h e n   n e c e s s a r y   a n d                   | 
 a   c o r r e c t   U T F - 8   e n c o d e r   i s   n o t   a l l o w e d   t o   p r o d u c e   t h e m .   A   " s a f e   U T F - 8                   | 
 d e c o d e r "   s h o u l d   r e j e c t   t h e m   j u s t   l i k e   m a l f o r m e d   s e q u e n c e s   f o r   t w o                           | 
 r e a s o n s :   ( 1 )   I t   h e l p s   t o   d e b u g   a p p l i c a t i o n s   i f   o v e r l o n g   s e q u e n c e s   a r e                   | 
 n o t   t r e a t e d   a s   v a l i d   r e p r e s e n t a t i o n s   o f   c h a r a c t e r s ,   b e c a u s e   t h i s   h e l p s                 | 
 t o   s p o t   p r o b l e m s   m o r e   q u i c k l y .   ( 2 )   O v e r l o n g   s e q u e n c e s   p r o v i d e                                   | 
 a l t e r n a t i v e   r e p r e s e n t a t i o n s   o f   c h a r a c t e r s ,   t h a t   c o u l d   m a l i c i o u s l y   b e                     | 
 u s e d   t o   b y p a s s   f i l t e r s   t h a t   c h e c k   o n l y   f o r   A S C I I   c h a r a c t e r s .   F o r                             | 
 i n s t a n c e ,   a   2 - b y t e   e n c o d e d   l i n e   f e e d   ( L F )   w o u l d   n o t   b e   c a u g h t   b y   a                         | 
 l i n e   c o u n t e r   t h a t   c o u n t s   o n l y   0 x 0 a   b y t e s ,   b u t   i t   w o u l d   s t i l l   b e                               | 
 p r o c e s s e d   a s   a   l i n e   f e e d   b y   a n   u n s a f e   U T F - 8   d e c o d e r   l a t e r   i n   t h e                             | 
 p i p e l i n e .   F r o m   a   s e c u r i t y   p o i n t   o f   v i e w ,   A S C I I   c o m p a t i b i l i t y   o f   U T F - 8                   | 
 s e q u e n c e s   m e a n s   a l s o ,   t h a t   A S C I I   c h a r a c t e r s   a r e   * o n l y *   a l l o w e d   t o   b e                     | 
 r e p r e s e n t e d   b y   A S C I I   b y t e s   i n   t h e   r a n g e   0 x 0 0 - 0 x 7 f .   T o   e n s u r e   t h i s                           | 
 a s p e c t   o f   A S C I I   c o m p a t i b i l i t y ,   u s e   o n l y   " s a f e   U T F - 8   d e c o d e r s "   t h a t                         | 
 r e j e c t   o v e r l o n g   U T F - 8   s e q u e n c e s   f o r   w h i c h   a   s h o r t e r   e n c o d i n g   e x i s t s .                     | 
                                                                                                                                                             | 
 4 . 1     E x a m p l e s   o f   a n   o v e r l o n g   A S C I I   c h a r a c t e r                                                                     | 
                                                                                                                                                             | 
 W i t h   a   s a f e   U T F - 8   d e c o d e r ,   a l l   o f   t h e   f o l l o w i n g   f i v e   o v e r l o n g                                   | 
 r e p r e s e n t a t i o n s   o f   t h e   A S C I I   c h a r a c t e r   s l a s h   ( " / " )   s h o u l d   b e   r e j e c t e d                   | 
 l i k e   a   m a l f o r m e d   U T F - 8   s e q u e n c e ,   f o r   i n s t a n c e   b y   s u b s t i t u t i n g   i t   w i t h                   | 
 a   r e p l a c e m e n t   c h a r a c t e r .   I f   y o u   s e e   a   s l a s h   b e l o w ,   y o u   d o   n o t   h a v e   a                     | 
 s a f e   U T F - 8   d e c o d e r !                                                                                                                       | 
                                                                                                                                                             | 
 4 . 1 . 1   U + 0 0 2 F   =   c 0   a f                           =   " "                                                                                 | 
 4 . 1 . 2   U + 0 0 2 F   =   e 0   8 0   a f                     =   " "                                                                                 | 
 4 . 1 . 3   U + 0 0 2 F   =   f 0   8 0   8 0   a f               =   " "                                                                                 | 
 4 . 1 . 4   U + 0 0 2 F   =   f 8   8 0   8 0   8 0   a f         =   " "                                                                                 | 
 4 . 1 . 5   U + 0 0 2 F   =   f c   8 0   8 0   8 0   8 0   a f   =   " "                                                                                 | 
                                                                                                                                                             | 
 4 . 2     M a x i m u m   o v e r l o n g   s e q u e n c e s                                                                                               | 
                                                                                                                                                             | 
 B e l o w   y o u   s e e   t h e   h i g h e s t   U n i c o d e   v a l u e   t h a t   i s   s t i l l   r e s u l t i n g   i n   a n                   | 
 o v e r l o n g   s e q u e n c e   i f   r e p r e s e n t e d   w i t h   t h e   g i v e n   n u m b e r   o f   b y t e s .   T h i s                   | 
 i s   a   b o u n d a r y   t e s t   f o r   s a f e   U T F - 8   d e c o d e r s .   A l l   f i v e   c h a r a c t e r s   s h o u l d                 | 
 b e   r e j e c t e d   l i k e   m a l f o r m e d   U T F - 8   s e q u e n c e s .                                                                       | 
                                                                                                                                                             | 
 4 . 2 . 1     U - 0 0 0 0 0 0 7 F   =   c 1   b f                           =   " "                                                                       | 
 4 . 2 . 2     U - 0 0 0 0 0 7 F F   =   e 0   9 f   b f                     =   " "                                                                       | 
 4 . 2 . 3     U - 0 0 0 0 F F F F   =   f 0   8 f   b f   b f               =   " "                                                                       | 
 4 . 2 . 4     U - 0 0 1 F F F F F   =   f 8   8 7   b f   b f   b f         =   " "                                                                       | 
 4 . 2 . 5     U - 0 3 F F F F F F   =   f c   8 3   b f   b f   b f   b f   =   " "                                                                       | 
                                                                                                                                                             | 
 4 . 3     O v e r l o n g   r e p r e s e n t a t i o n   o f   t h e   N U L   c h a r a c t e r                                                           | 
                                                                                                                                                             | 
 T h e   f o l l o w i n g   f i v e   s e q u e n c e s   s h o u l d   a l s o   b e   r e j e c t e d   l i k e   m a l f o r m e d                       | 
 U T F - 8   s e q u e n c e s   a n d   s h o u l d   n o t   b e   t r e a t e d   l i k e   t h e   A S C I I   N U L                                     | 
 c h a r a c t e r .                                                                                                                                         | 
                                                                                                                                                             | 
 4 . 3 . 1     U + 0 0 0 0   =   c 0   8 0                           =   " "                                                                               | 
 4 . 3 . 2     U + 0 0 0 0   =   e 0   8 0   8 0                     =   " "                                                                               | 
 4 . 3 . 3     U + 0 0 0 0   =   f 0   8 0   8 0   8 0               =   " "                                                                               | 
 4 . 3 . 4     U + 0 0 0 0   =   f 8   8 0   8 0   8 0   8 0         =   " "                                                                               | 
 4 . 3 . 5     U + 0 0 0 0   =   f c   8 0   8 0   8 0   8 0   8 0   =   " "                                                                               | 
                                                                                                                                                             | 
 5     I l l e g a l   c o d e   p o s i t i o n s                                                                                                           | 
                                                                                                                                                             | 
 T h e   f o l l o w i n g   U T F - 8   s e q u e n c e s   s h o u l d   b e   r e j e c t e d   l i k e   m a l f o r m e d                               | 
 s e q u e n c e s ,   b e c a u s e   t h e y   n e v e r   r e p r e s e n t   v a l i d   I S O   1 0 6 4 6   c h a r a c t e r s   a n d                 | 
 a   U T F - 8   d e c o d e r   t h a t   a c c e p t s   t h e m   m i g h t   i n t r o d u c e   s e c u r i t y   p r o b l e m s                       | 
 c o m p a r a b l e   t o   o v e r l o n g   U T F - 8   s e q u e n c e s .                                                                               | 
                                                                                                                                                             | 
 5 . 1   S i n g l e   U T F - 1 6   s u r r o g a t e s                                                                                                     | 
                                                                                                                                                             | 
 5 . 1 . 1     U + D 8 0 0   =   e d   a 0   8 0   =   " "                                                                                                 | 
 5 . 1 . 2     U + D B 7 F   =   e d   a d   b f   =   " "                                                                                                 | 
 5 . 1 . 3     U + D B 8 0   =   e d   a e   8 0   =   " "                                                                                                 | 
 5 . 1 . 4     U + D B F F   =   e d   a f   b f   =   " "                                                                                                 | 
 5 . 1 . 5     U + D C 0 0   =   e d   b 0   8 0   =   " "                                                                                                 | 
 5 . 1 . 6     U + D F 8 0   =   e d   b e   8 0   =   " "                                                                                                 | 
 5 . 1 . 7     U + D F F F   =   e d   b f   b f   =   " "                                                                                                 | 
                                                                                                                                                             | 
 5 . 2   P a i r e d   U T F - 1 6   s u r r o g a t e s                                                                                                     | 
                                                                                                                                                             | 
 5 . 2 . 1     U + D 8 0 0   U + D C 0 0   =   e d   a 0   8 0   e d   b 0   8 0   =   " "                                                               | 
 5 . 2 . 2     U + D 8 0 0   U + D F F F   =   e d   a 0   8 0   e d   b f   b f   =   " "                                                               | 
 5 . 2 . 3     U + D B 7 F   U + D C 0 0   =   e d   a d   b f   e d   b 0   8 0   =   " "                                                               | 
 5 . 2 . 4     U + D B 7 F   U + D F F F   =   e d   a d   b f   e d   b f   b f   =   " "                                                               | 
 5 . 2 . 5     U + D B 8 0   U + D C 0 0   =   e d   a e   8 0   e d   b 0   8 0   =   " "                                                               | 
 5 . 2 . 6     U + D B 8 0   U + D F F F   =   e d   a e   8 0   e d   b f   b f   =   " "                                                               | 
 5 . 2 . 7     U + D B F F   U + D C 0 0   =   e d   a f   b f   e d   b 0   8 0   =   " "                                                               | 
 5 . 2 . 8     U + D B F F   U + D F F F   =   e d   a f   b f   e d   b f   b f   =   " "                                                               | 
                                                                                                                                                             | 
 5 . 3   N o n c h a r a c t e r   c o d e   p o s i t i o n s                                                                                               | 
                                                                                                                                                             | 
 T h e   f o l l o w i n g   " n o n c h a r a c t e r s "   a r e   " r e s e r v e d   f o r   i n t e r n a l   u s e "   b y                             | 
 a p p l i c a t i o n s ,   a n d   a c c o r d i n g   t o   o l d e r   v e r s i o n s   o f   t h e   U n i c o d e   S t a n d a r d                   | 
 " s h o u l d   n e v e r   b e   i n t e r c h a n g e d " .   U n i c o d e   C o r r i g e n d u m   # 9   d r o p p e d   t h e                         | 
 l a t t e r   r e s t r i c t i o n .   N e v e r t h e l e s s ,   t h e i r   p r e s e n c e   i n   i n c o m i n g   U T F - 8   d a t a               | 
 c a n   r e m a i n   a   p o t e n t i a l   s e c u r i t y   r i s k ,   d e p e n d i n g   o n   w h a t   u s e   i s   m a d e   o f                 | 
 t h e s e   c o d e s   s u b s e q u e n t l y .   E x a m p l e s   o f   s u c h   i n t e r n a l   u s e :                                             | 
                                                                                                                                                             | 
   -   S o m e   f i l e   A P I s   w i t h   1 6 - b i t   c h a r a c t e r s   m a y   u s e   t h e   i n t e g e r   v a l u e   - 1                   | 
       =   U + F F F F   t o   s i g n a l   a n   e n d - o f - f i l e   ( E O F )   o r   e r r o r   c o n d i t i o n .                                 | 
                                                                                                                                                             | 
   -   I n   s o m e   U T F - 1 6   r e c e i v e r s ,   c o d e   p o i n t   U + F F F E   m i g h t   t r i g g e r   a                                 | 
       b y t e - s w a p   o p e r a t i o n   ( t o   c o n v e r t   b e t w e e n   U T F - 1 6 L E   a n d   U T F - 1 6 B E ) .                         | 
                                                                                                                                                             | 
 W i t h   s u c h   i n t e r n a l   u s e   o f   n o n c h a r a c t e r s ,   i t   m a y   b e   d e s i r a b l e   a n d   s a f e r                 | 
 t o   b l o c k   t h o s e   c o d e   p o i n t s   i n   U T F - 8   d e c o d e r s ,   a s   t h e y   s h o u l d   n e v e r                         | 
 o c c u r   l e g i t i m a t e l y   i n   i n c o m i n g   U T F - 8   d a t a ,   a n d   c o u l d   t r i g g e r   u n s a f e                       | 
 b e h a v i o u r   i n   s u b s e q u e n t   p r o c e s s i n g .                                                                                       | 
                                                                                                                                                             | 
 P a r t i c u l a r l y   p r o b l e m a t i c   n o n c h a r a c t e r s   i n   1 6 - b i t   a p p l i c a t i o n s :                                 | 
                                                                                                                                                             | 
 5 . 3 . 1     U + F F F E   =   e f   b f   b e   =   " "                                                                                                 | 
 5 . 3 . 2     U + F F F F   =   e f   b f   b f   =   " "                                                                                                 | 
                                                                                                                                                             | 
 O t h e r   n o n c h a r a c t e r s :                                                                                                                     | 
                                                                                                                                                             | 
 5 . 3 . 3     U + F D D 0   . .   U + F D E F   =   " " | 
                                                                                                                                                             | 
 5 . 3 . 4     U + n F F F E   U + n F F F F   ( f o r   n   =   1 . . 1 0 )                                                                                 | 
                                                                                                                                                             | 
               " ??߿߿??߿߿                                                                        | 
                 ??߿߿??߿߿"                                                                       | 
                                                                                                                                                             | 
 T H E   E N D                                                                                                                                               | 
 