C++/std:string 토크나이즈

view plain
  1. vector<string> tokenize(const string& str, const string& delimiters)
  2. {
  3.     vector<string> tokens;
  5.     string::size_type lastPos = 0, pos = 0;  
  6.     int count = 0;
  8.     if(str.length()<1)  return tokens;
  10.     // skip delimiters at beginning.  
  11.     lastPos = str.find_first_not_of(delimiters, 0);
  12.       
  13.     if((str.substr(0, lastPos-pos).length()) > 0)
  14.     {   
  15.         count = str.substr(0, lastPos-pos).length();    
  17.         for(int i=0; i < count; i++)     
  18.             tokens.push_back("");
  20.         if(string::npos == lastPos)
  21.             tokens.push_back("");
  22.     }
  24.     // find first "non-delimiter".
  25.     pos = str.find_first_of(delimiters, lastPos);
  27.     while (string::npos != pos || string::npos != lastPos)
  28.     {               
  29.         // found a token, add it to the vector.
  30.         tokens.push_back( str.substr(lastPos, pos - lastPos));
  31.                 
  32.         // skip delimiters.  Note the "not_of"
  33.         lastPos = str.find_first_not_of(delimiters, pos);               
  34.         
  35.         if((string::npos != pos) && (str.substr(pos, lastPos-pos).length() > 1))         
  36.         {
  37.             count = str.substr(pos, lastPos-pos).length();
  39.             for(int i=0; i < count; i++)
  40.                 tokens.push_back("");
  41.         }
  42.         
  43.         pos = str.find_first_of(delimiters, lastPos);
  44.     }
  46.     return tokens;
  47. }
  49. ...
  51. string delimiters(" ");
  53. // 공백 구분자로 토크나이즈            
  54. vector<string> tokens = tokenize(src, delimiters);    
명차 한자리에 랄프 로렌 자동차 컬렉션
↓
vector<string>
"명차" "한자리에" "랄프" "자동차" "컬렉션"

이 글에는 0 개의 댓글이 있습니다.