Tokenizer

• はじめに
• インストール/設定
  • インストール手順
• 定義済み定数
• 例
• PhpToken — PhpToken クラス
  • PhpToken::__construct — 新しい PhpToken オブジェクトを返す
  • PhpToken::getTokenName — トークンの名前を返す
  • PhpToken::is — 指定された種類のトークンかを調べる
  • PhpToken::isIgnorable — トークンがPHPパーサから無視されるかを調べる
  • PhpToken::__toString — トークンの文字列表現を返す
  • PhpToken::tokenize — ソースコードを PhpToken オブジェクトで表現されたトークンに分割する
• Tokenizer 関数
  • token_get_all — 指定したソースを PHP トークンに分割する
  • token_name — 指定した PHP トークンのシンボル名を取得する