Multi Line Comments Don't Work in the JS grammar

[kach]

Multi Line Comments Don't Work in the JS grammar

[daxim]

Works for me.

$ cat mcomment.ne
mcomment -> "/*" [^*]:* ("*":+ [^/*] [^*]:*):* "*":* "*/"

$ node bin/nearleyc.js mcomment.ne > mcomment.js

$ <testcases perl -lne'die "cannot parse \x27$_\x27" if system("node bin/nearleythere.js mcomment.js -i \x27$_\x27")' >/dev/null

$ echo $?
0

$ cat testcases
/*      /**** * **********  /*/
/*    / **/
/*    /** ***/
/*   /  ///    ** /*/
/*   ///****   *  /// */
/*   */
/*   ** /  ******   ** **/
/*   ***  *** * ****   */
/*  / /*****/
/*  / ***   /**** **/
/*  / ****/
/*  // * *   * //// /*/
/*  //*** / //*/
/*  /* /*     /* *** //***/
/*  /*/
/*  * / *  * /*** // / */
/*  * /* */
/*  * ***   / */
/*  * *** / ********** */
/*  */
/*  ** *** // /**  * /  */
/*  *** */
/*  ***** * */
/*  ****** ****** /*/
/* /  *  *****/
/* /  */
/* / /  *******  //** **/
/* / / ///**  /* * ****/
/* / *  // ** ***/
/* / * /  // /* /*** // **  */
/* / * *** ** /**** **  *******/
/* / ***/
/* / **** /** */
/* / ****/
/* / *****/
/* //    / * /* ******** */
/* // /   // **/
/* // */
/* // ***** //*  ///* */
/* /// **** //      */
/* ///*** /////*/
/* ///***/
/* //* /**   ///***** * / **  **/
/* //*/
/* //** *** * *  ***  //  ***/
/* /* / / /***   * //*/
/* /* */
/* /* *** /*  *** /  /********/
/* /*/
/* /**/
/* /***  / /// ** ***  /*/
/* /*** * /   / ** /* */
/* /*** ** * ** ******** ** */
/* /***/
/* /**** */
/* /**** ** **  // / *** / / **/
/* /******** ************* **/
/* /********/
/* *   *** ***   /*/
/* *  ******   */
/* *  ****** //** /  / * /*/
/* * /    //******  * ****/
/* * / */
/* * ////** //// **/
/* * * ///***  * / ****** /* /*/
/* * **  */
/* * ******** // * ****** /  / */
/* */
/* **  /**  * / / */
/* ** / *** *  /* *****/
/* ** // ****/
/* ** /******* //** /* /**** */
/* ** * //* /* ***** // /*** */
/* ** */
/* ***  **    /** /*/
/* ***  ***  **/
/* *** *    /*/
/* *** ***   ** */
/* **** **    /****  / **  ***/
/* **** **    ***/
/* ***** /  ****  ************/
/* ***** **  **  //* */
/* *****/
/* ****** *** */
/* ******/
/* ********* *****/
/*/    /    /  /** /  /  **/
/*/    /*  **  ****/
/*/   /*   //***** ///   /* */
/*/  //**   /*/
/*/  ** * **/
/*/  ** */
/*/  *** ** **/
/*/  *** ******** /  ******/
/*/  ****  ///  * /  **/
/*/  *******  * /  */
/*/ /  /*****  ******/
/*/ /  * **/
/*/ / *** //****  ****/
/*/ // * /    / *******/
/*/ //* /** *** * **** **** */
/*/ //*/
/*/ //**  / */
/*/ //** / //****/
/*/ //***** /**  * /////*  */
/*/ /**  * / ***/
/*/ /**** /* *** **  /***/
/*/ /**** /*** //* */
/*/ /***** /****** //  /**/
/*/ * /* **************** / */
/*/ */
/*/ **   / / ** ***  */
/*/ ** /* *  *  **** */
/*/ ***/
/*/ ***** *** /********  // */
/*//  /  * //*/
/*//  / ** ****  /// ****  *** /*/
/*// ////   / */
/*// /*/
/*// ** / * **** *  /  /***   /*/
/*///     ****  *    */
/*///   //*  /*  /* ***   * ****/
/*///  **  ** //  * /  /** */
/*///  ***  /****** ****/
/*/// /  ***/
/*/// / *  **   //* / // /*/
/*/// *  /// */
/*//// ** /  /*/
/*///// * /// ***  /**/
/*///// **/
/*/////****** / ***  ///   */
/*///* //* /*****/
/*///* ** //** // */
/*///****  / * *** // //*** ***/
/*//*     /*/
/*//* *   // */
/*//* ** ** */
/*//* *** ******** *********/
/*//*/
/*//** /***/
/*//** * /*/
/*//** **** ***** /** ***/
/*//***     *  *** * //// */
/*//***   * *   / * * / ********/
/*//**** *   ***** * /  */
/*//**** **    **/
/*//****/
/*//***** * * **/
/*/*    */
/*/*  /* ** //// * /*/
/*/* /*******  /* //*** //* **/
/*/* /********  **  ** */
/*/* *  //   ******  ** // */
/*/* * /******   /* /*/
/*/* ** ** **** /****    / */
/*/* ***/
/*/* ***** **** /*/
/*/* ******/
/*/*/
/*/**    ***/
/*/**   /**** //**/
/*/**  ***** */
/*/** / //** ///////*/
/*/** / *** */
/*/** ///* ****   // // ** //**/
/*/** ****/
/*/**/
/*/*** / *****  ** /***/
/*/*** //* *  ****** ********/
/*/*** /* **  / /***** */
/*/*** /** ///* ****/
/*/*** ** ** * */
/*/****  //// /*** /// ** /*****/
/*/****  **** *** * /** //** /*/
/*/**** ** ///*  ///*  ///*/
/*/***** *********/
/*/****** // /* *****/
/*/****** **** // ////* ***  * */
/*/********  ** * */
/*/******** //  //  / ** **/
/*/***********/
/**   / ***** * */
/**   * / */
/**   ***  ///   ///***/
/**  /// /* ** // *******/
/**  */
/**  ***/
/** /  ***** / //**/
/** / //// / * */
/** / * / *  *  **/
/** / **** //  ** **** /* // /*/
/** //**/
/** //*** /**/
/** /* *  */
/** /*/
/** /** /******** / *   **/
/** /** ** */
/** /***** ** * ****   */
/** * / ///*  ****    /***/
/** * /*   ***** */
/** * /* * /**** ///*   * / /*/
/** * /*/
/** * /***/
/** */
/** ** *** * *** ** /** /*/
/** ** ****  ******/
/** ** *****  **/
/** ** ******/
/** ***  * *  /* */
/** *** *** /****/
/** *** ****  ///////     *****/
/** **** //  * ****** ****  **/
/** ***** ***** */
/** ***********   * * / ***/
/**/
/***    ***  ///*  /***** /*/
/***   ** / /** **  /***** */
/***  / * */
/***  **    /* ****** / /**/
/***  ******* // ///*/
/*** /   ****/
/*** / /****/
/*** /*/
/*** /** / ** *** **/
/*** /** ***  / ///// ****** **/
/*** /***** /** **  ///* /*/
/*** * ///* /***/
/*** * **  * /*  */
/*** */
/*** **** /*  */
/*** ****/
/*** ***** /*** * / */
/***/
/****  *  /* //// *****/
/****  *  ****  /  /   */
/****  ******/
/**** // ***** ****/
/**** /*** /// */
/**** /***** /**    */
/**** * //  * */
/**** *** */
/**** ********   */
/****/
/*****  / */
/*****  */
/*****  ** //*  *   *    *  */
/*****  *** / /* ///**  ** *****/
/*****  *****  */
/***** /   /* / ** // / // */
/***** */
/***** ***** //   */
/*****/
/****** / ************* ** //*/
/****** /*/
/****** /*******  /**/
/****** * ///** ****  /***/
/****** * * /* //*** ** */
/****** * *** /* /*******/
/****** * *** ** // /   ** /  **/
/****** */
/****** ***  */
/******/
/*******    * /** /* / *****/
/*******  **  ** *** ****/
/******* ///*      /* /  */
/******* * //*  *  ** /*/
/******* ** / ** *****/
/******* ****** */
/******** * //****  //** /* /***/
/******** */
/********/
/*********  *** ** */
/********* ///  *****/
/********* */
/********* ***** // *** *******/
/**********     **/
/********** // * ***/
/************ /** /     **/

[YafahEdelman]

That does appear to work. Feel free to make a pull request with that added to the js grammar. Thanks!

[kach]

I'm not sure what @daxim 's expression does. Is it equivalent to:

mcomment -> "/*"  ([^*] | "*" [^/]):*  "*/"

which (I think) should work?

[daxim]

There are different results when one chains comments. Let

chain -> mcomment:+

and then parse /***//***/. My result:

[ [ [ [ '/*', [], [], [ '*' ], '*/' ],
      [ '/*', [], [], [ '*' ], '*/' ] ] ] ]

Your result:

[ [ [ [ '/*',
        [ [ '*', '*' ],
          [ '/' ],
          [ '/' ],
          [ '*', '*' ] ],
        '*/' ] ] ] ]

I interpret this result to be a misparse – one long comment instead of two short – similar to the greedy/ungreedy problem in regex. Do you concur?

[kach]

Ah, interesting. Mentally, I actually read /***//***/ as two consecutive comments.

It shouldn't really matter, though, right? In any case, both comments would likely be ignored by whatever traverses the syntax tree?

The ECMAScript standard says (http://www.ecma-international.org/publications/files/ECMA-ST/Ecma-262.pdf pg. 16):

MultiLineComment ::
/* MultiLineCommentChars_opt */

MultiLineCommentChars ::
MultiLineNotAsteriskChar MultiLineCommentChars_opt
* PostAsteriskCommentChars_opt

PostAsteriskCommentChars ::
MultiLineNotForwardSlashOrAsteriskChar MultiLineCommentChars_opt
* PostAsteriskCommentChars_opt

MultiLineNotAsteriskChar ::
SourceCharacter but not *

MultiLineNotForwardSlashOrAsteriskChar ::
SourceCharacter but not one of / or *

I believe that agrees with my interpretation. The standard says that multiline comments containing newlines are to be considered syntactically equivalent to newlines, so the only real issue here is whether

/*
*//*
*/

should return 1 or 2 newlines. However, I'm pretty sure this won't be an issue, so we're fine.