Lines Matching refs:tokens
29 tokens = list(strip_js_comments._TokenizeJS(''))
30 self.assertEquals([], tokens)
33 tokens = list(strip_js_comments._TokenizeJS('\n'))
34 self.assertEquals(['\n'], tokens)
37 tokens = list(strip_js_comments._TokenizeJS('A // foo'))
38 self.assertEquals(['A ', '//', ' foo'], tokens)
41 tokens = list(strip_js_comments._TokenizeJS('A // foo\nbar'))
42 self.assertEquals(['A ', '//', ' foo', '\n', 'bar'], tokens)
45 tokens = list(strip_js_comments._TokenizeJS('A /* foo */'))
46 self.assertEquals(['A ', '/*', ' foo ', '*/'], tokens)
49 tokens = list(strip_js_comments._TokenizeJS('A /* foo\n*bar\n*/'))
50 self.assertEquals(['A ', '/*', ' foo', '\n', '*bar', '\n', '*/'], tokens)