Lines Matching defs:tokens
16 const TokenizedString::Tokens& tokens = tokenized.tokens();
20 for (size_t i = 0; i < tokens.size(); ++i) {
23 str += tokens[i];
33 TokenizedString tokens(empty);
34 EXPECT_EQ(base::string16(), GetContent(tokens));
40 TokenizedString tokens(text);
42 GetContent(tokens));
46 TokenizedString tokens(text);
48 GetContent(tokens));
52 TokenizedString tokens(text);
54 GetContent(tokens));
58 TokenizedString tokens(text);
60 GetContent(tokens));
64 TokenizedString tokens(text);
66 GetContent(tokens));
70 TokenizedString tokens(text);
72 GetContent(tokens));
76 TokenizedString tokens(text);
78 GetContent(tokens));
82 TokenizedString tokens(text);
84 GetContent(tokens));