Tokenizer

目次

PhpToken クラス

はじめに

このクラスは、token_get_all 関数の代替です。 token_get_all 関数は、トークンを示す一文字、 またはトークンのIDの配列、トークンのテキスト、行番号からなる配列を返します。 PhpToken::tokenize は、 全てのトークンを PhpToken オブジェクトに正規化します。 これによって、トークンの操作を行うコードのメモリ使用量が少なくなり、 コードが読みやすくなります。

クラス概要

PhpToken
implements Stringable
/* プロパティ */
public int $id;
public string $text;
public int $line;
public int $pos;
/* メソッド */
final public __construct(
    int $id,
    string $text,
    int $line = -1,
    int $pos = -1
)
public stringnull getTokenName()
public bool is(intstringarray $kind)
public bool isIgnorable()
public string __toString()
public static array tokenize(string $code, int $flags = 0)

プロパティ

id

T_* 定数のうちのひとつ。 または、 一文字のトークンを表す ASCII コードポイント。

text

トークンの内容を示すテキスト

line

トークンが始まる行番号(1から始まります)

pos

トークン化された文字列内での(バイト単位の)開始位置(0から始まります)