Esta pergunta já tem respostas aqui : 
Comentários
-  Você pode usar 
{n \brack k}. 
Resposta
 Você pode tocar em  amsmath  “s \genfrac: 
\documentclass{article} \usepackage{amsmath} \newcommand{\stirlingii}{\genfrac{\{}{\}}{0pt}{}} \begin{document} There is $\binom{a}{b}$ and $\stirlingii{a}{b}$ and also \[ \binom{a}{b} \text{ and } \stirlingii{a}{b}. \] \end{document} 
 \genfrac{<ldelim>}{<rdelim>}{<width>}{<style>}{<numerator>}{<denominator>} define uma fração limitada por <ldelim> e <rdelim> em um estilo semelhante a uma fração com régua horizontal de largura <width>. O <style> opcional pode forçar a saída a estar em um y dos quatro estilos matemáticos. 
 
\stirlingii