As funções de tokenizer formam uma interface para o tokenizer do PHP imbutido no Engine Zend. Usando essas funções você pode escrever ferramentas próprias para análise e modificação de código PHP sem ter que lidar com a especificação da linguagem em um nível léxico.
Veja também o apêndice sobre tokens.
Nenhuma biblioteca externa é necessária para compilar esta extensão.
Começando no PHP 4.3.0, essas funções estão habilitadas a menos que seja dito o contrário.
Para versões anteriores, você tem que configurar e compilar o PHP com
--enable-tokenizer
. Você pode desabilitar
suporte à extensão tokenizer com --disable-tokenizer
.
A versão para Windows do PHP tem suporte embutido para esta extensão. Você não precisa carregar nenhuma extensão adicional para utilizar essas funções.
Nota: Suporte integrado para tokenizer está disponível a partir do PHP 4.3.0.
Quando a extensão for ou compilado no PHP ou carregada dinamicamente em tempo de execução, os tokens listados em Apêndice R são definidos como constantes.
Aqui está um exemplo simples de scripts PHP usando o tokenizer que lerá um arquivo PHP, retirará todos os comentários do fonte e imprimirá apenas o código puro.