mpeg4video.c
上传用户:kjfoods
上传日期:2020-07-06
资源大小:29949k
文件大小:17k
源码类别:

midi

开发平台:

Unix_Linux

  1. /*****************************************************************************
  2.  * mpeg4video.c: mpeg 4 video packetizer
  3.  *****************************************************************************
  4.  * Copyright (C) 2001-2006 the VideoLAN team
  5.  * $Id: 018846c9980fa832596aa52e34284dd8bcbbe2ed $
  6.  *
  7.  * Authors: Gildas Bazin <gbazin@videolan.org>
  8.  *          Laurent Aimar <fenrir@via.ecp.fr>
  9.  *          Eric Petit <titer@videolan.org>
  10.  *
  11.  * This program is free software; you can redistribute it and/or modify
  12.  * it under the terms of the GNU General Public License as published by
  13.  * the Free Software Foundation; either version 2 of the License, or
  14.  * (at your option) any later version.
  15.  *
  16.  * This program is distributed in the hope that it will be useful,
  17.  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  18.  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  19.  * GNU General Public License for more details.
  20.  *
  21.  * You should have received a copy of the GNU General Public License
  22.  * along with this program; if not, write to the Free Software
  23.  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston MA 02110-1301, USA.
  24.  *****************************************************************************/
  25. /*****************************************************************************
  26.  * Preamble
  27.  *****************************************************************************/
  28. #ifdef HAVE_CONFIG_H
  29. # include "config.h"
  30. #endif
  31. #include <vlc_common.h>
  32. #include <vlc_plugin.h>
  33. #include <vlc_sout.h>
  34. #include <vlc_codec.h>
  35. #include <vlc_block.h>
  36. #include "vlc_bits.h"
  37. #include "vlc_block_helper.h"
  38. #include "packetizer_helper.h"
  39. /*****************************************************************************
  40.  * Module descriptor
  41.  *****************************************************************************/
  42. static int  Open ( vlc_object_t * );
  43. static void Close( vlc_object_t * );
  44. vlc_module_begin ()
  45.     set_category( CAT_SOUT )
  46.     set_subcategory( SUBCAT_SOUT_PACKETIZER )
  47.     set_description( N_("MPEG4 video packetizer") )
  48.     set_capability( "packetizer", 50 )
  49.     set_callbacks( Open, Close )
  50. vlc_module_end ()
  51. /****************************************************************************
  52.  * Local prototypes
  53.  ****************************************************************************/
  54. struct decoder_sys_t
  55. {
  56.     /*
  57.      * Input properties
  58.      */
  59.     packetizer_t packetizer;
  60.     /*
  61.      * Common properties
  62.      */
  63.     mtime_t i_interpolated_pts;
  64.     mtime_t i_interpolated_dts;
  65.     mtime_t i_last_ref_pts;
  66.     mtime_t i_last_time_ref;
  67.     mtime_t i_time_ref;
  68.     mtime_t i_last_time;
  69.     mtime_t i_last_timeincr;
  70.     unsigned int i_flags;
  71.     int         i_fps_num;
  72.     int         i_fps_den;
  73.     int         i_last_incr;
  74.     int         i_last_incr_diff;
  75.     bool  b_frame;
  76.     /* Current frame being built */
  77.     block_t    *p_frame;
  78.     block_t    **pp_last;
  79. };
  80. static block_t *Packetize( decoder_t *, block_t ** );
  81. static void PacketizeReset( void *p_private, bool b_broken );
  82. static block_t *PacketizeParse( void *p_private, bool *pb_ts_used, block_t * );
  83. static int PacketizeValidate( void *p_private, block_t * );
  84. static block_t *ParseMPEGBlock( decoder_t *, block_t * );
  85. static int ParseVOL( decoder_t *, es_format_t *, uint8_t *, int );
  86. static int ParseVOP( decoder_t *, block_t * );
  87. static int vlc_log2( unsigned int );
  88. #define VIDEO_OBJECT_MASK                       0x01f
  89. #define VIDEO_OBJECT_LAYER_MASK                 0x00f
  90. #define VIDEO_OBJECT_START_CODE                 0x100
  91. #define VIDEO_OBJECT_LAYER_START_CODE           0x120
  92. #define VISUAL_OBJECT_SEQUENCE_START_CODE       0x1b0
  93. #define VISUAL_OBJECT_SEQUENCE_END_CODE         0x1b1
  94. #define USER_DATA_START_CODE                    0x1b2
  95. #define GROUP_OF_VOP_START_CODE                 0x1b3
  96. #define VIDEO_SESSION_ERROR_CODE                0x1b4
  97. #define VISUAL_OBJECT_START_CODE                0x1b5
  98. #define VOP_START_CODE                          0x1b6
  99. #define FACE_OBJECT_START_CODE                  0x1ba
  100. #define FACE_OBJECT_PLANE_START_CODE            0x1bb
  101. #define MESH_OBJECT_START_CODE                  0x1bc
  102. #define MESH_OBJECT_PLANE_START_CODE            0x1bd
  103. #define STILL_TEXTURE_OBJECT_START_CODE         0x1be
  104. #define TEXTURE_SPATIAL_LAYER_START_CODE        0x1bf
  105. #define TEXTURE_SNR_LAYER_START_CODE            0x1c0
  106. static const uint8_t p_mp4v_startcode[3] = { 0x00, 0x00, 0x01 };
  107. /*****************************************************************************
  108.  * Open: probe the packetizer and return score
  109.  *****************************************************************************/
  110. static int Open( vlc_object_t *p_this )
  111. {
  112.     decoder_t     *p_dec = (decoder_t*)p_this;
  113.     decoder_sys_t *p_sys;
  114.     switch( p_dec->fmt_in.i_codec )
  115.     {
  116.         case VLC_FOURCC( 'm', '4', 's', '2'):
  117.         case VLC_FOURCC( 'M', '4', 'S', '2'):
  118.         case VLC_FOURCC( 'm', 'p', '4', 's'):
  119.         case VLC_FOURCC( 'M', 'P', '4', 'S'):
  120.         case VLC_FOURCC( 'm', 'p', '4', 'v'):
  121.         case VLC_FOURCC( 'M', 'P', '4', 'V'):
  122.         case VLC_FOURCC( 'D', 'I', 'V', 'X'):
  123.         case VLC_FOURCC( 'd', 'i', 'v', 'x'):
  124.         case VLC_FOURCC( 'X', 'V', 'I', 'D'):
  125.         case VLC_FOURCC( 'X', 'v', 'i', 'D'):
  126.         case VLC_FOURCC( 'x', 'v', 'i', 'd'):
  127.         case VLC_FOURCC( 'D', 'X', '5', '0'):
  128.         case VLC_FOURCC( 'd', 'x', '5', '0'):
  129.         case VLC_FOURCC( 0x04, 0,   0,   0):
  130.         case VLC_FOURCC( '3', 'I', 'V', '2'):
  131.         case VLC_FOURCC( 'm', '4', 'c', 'c'):
  132.         case VLC_FOURCC( 'M', '4', 'C', 'C'):
  133.             break;
  134.         default:
  135.             return VLC_EGENERIC;
  136.     }
  137.     /* Allocate the memory needed to store the decoder's structure */
  138.     if( ( p_dec->p_sys = p_sys = malloc( sizeof(decoder_sys_t) ) ) == NULL )
  139.         return VLC_ENOMEM;
  140.     memset( p_sys, 0, sizeof(decoder_sys_t) );
  141.     /* Misc init */
  142.     packetizer_Init( &p_sys->packetizer,
  143.                      p_mp4v_startcode, sizeof(p_mp4v_startcode),
  144.                      NULL, 0,
  145.                      PacketizeReset, PacketizeParse, PacketizeValidate, p_dec );
  146.     p_sys->p_frame = NULL;
  147.     p_sys->pp_last = &p_sys->p_frame;
  148.     /* Setup properties */
  149.     es_format_Copy( &p_dec->fmt_out, &p_dec->fmt_in );
  150.     p_dec->fmt_out.i_codec = VLC_FOURCC( 'm', 'p', '4', 'v' );
  151.     if( p_dec->fmt_in.i_extra )
  152.     {
  153.         /* We have a vol */
  154.         p_dec->fmt_out.i_extra = p_dec->fmt_in.i_extra;
  155.         p_dec->fmt_out.p_extra = malloc( p_dec->fmt_in.i_extra );
  156.         memcpy( p_dec->fmt_out.p_extra, p_dec->fmt_in.p_extra,
  157.                 p_dec->fmt_in.i_extra );
  158.         msg_Dbg( p_dec, "opening with vol size: %d", p_dec->fmt_in.i_extra );
  159.         ParseVOL( p_dec, &p_dec->fmt_out,
  160.                   p_dec->fmt_out.p_extra, p_dec->fmt_out.i_extra );
  161.     }
  162.     else
  163.     {
  164.         /* No vol, we'll have to look for one later on */
  165.         p_dec->fmt_out.i_extra = 0;
  166.         p_dec->fmt_out.p_extra = 0;
  167.     }
  168.     /* Set callback */
  169.     p_dec->pf_packetize = Packetize;
  170.     return VLC_SUCCESS;
  171. }
  172. /*****************************************************************************
  173.  * Close: clean up the packetizer
  174.  *****************************************************************************/
  175. static void Close( vlc_object_t *p_this )
  176. {
  177.     decoder_t *p_dec = (decoder_t*)p_this;
  178.     decoder_sys_t *p_sys = p_dec->p_sys;
  179.     packetizer_Clean( &p_sys->packetizer );
  180.     if( p_sys->p_frame )
  181.         block_ChainRelease( p_sys->p_frame );
  182.     free( p_sys );
  183. }
  184. /****************************************************************************
  185.  * Packetize: the whole thing
  186.  ****************************************************************************/
  187. static block_t *Packetize( decoder_t *p_dec, block_t **pp_block )
  188. {
  189.     decoder_sys_t *p_sys = p_dec->p_sys;
  190.     return packetizer_Packetize( &p_sys->packetizer, pp_block );
  191. }
  192. /*****************************************************************************
  193.  * Helpers:
  194.  *****************************************************************************/
  195. static void PacketizeReset( void *p_private, bool b_broken )
  196. {
  197.     decoder_t *p_dec = p_private;
  198.     decoder_sys_t *p_sys = p_dec->p_sys;
  199.     if( b_broken )
  200.     {
  201.         if( p_sys->p_frame )
  202.             block_ChainRelease( p_sys->p_frame );
  203.         p_sys->p_frame = NULL;
  204.         p_sys->pp_last = &p_sys->p_frame;
  205.     }
  206.     p_sys->i_interpolated_pts =
  207.     p_sys->i_interpolated_dts =
  208.     p_sys->i_last_ref_pts =
  209.     p_sys->i_last_time_ref =
  210.     p_sys->i_time_ref =
  211.     p_sys->i_last_time =
  212.     p_sys->i_last_timeincr = 0;
  213. }
  214. static block_t *PacketizeParse( void *p_private, bool *pb_ts_used, block_t *p_block )
  215. {
  216.     decoder_t *p_dec = p_private;
  217.     const mtime_t i_dts = p_block->i_dts;
  218.     const mtime_t i_pts = p_block->i_pts;
  219.     block_t *p_au = ParseMPEGBlock( p_dec, p_block );
  220.     *pb_ts_used = p_au &&  p_au->i_dts == i_dts && p_au->i_pts == i_pts;
  221.     return p_au;
  222. }
  223. static int PacketizeValidate( void *p_private, block_t *p_au )
  224. {
  225.     decoder_t *p_dec = p_private;
  226.     decoder_sys_t *p_sys = p_dec->p_sys;
  227.     /* We've just started the stream, wait for the first PTS.
  228.      * We discard here so we can still get the sequence header. */
  229.     if( p_sys->i_interpolated_pts <= 0 &&
  230.         p_sys->i_interpolated_dts <= 0 )
  231.     {
  232.         msg_Dbg( p_dec, "need a starting pts/dts" );
  233.         return VLC_EGENERIC;
  234.     }
  235.     /* When starting the stream we can have the first frame with
  236.      * a null DTS (i_interpolated_pts is initialized to 0) */
  237.     if( !p_au->i_dts )
  238.         p_au->i_dts = p_au->i_pts;
  239.     return VLC_SUCCESS;
  240. }
  241. /*****************************************************************************
  242.  * ParseMPEGBlock: Re-assemble fragments into a block containing a picture
  243.  *****************************************************************************/
  244. static block_t *ParseMPEGBlock( decoder_t *p_dec, block_t *p_frag )
  245. {
  246.     decoder_sys_t *p_sys = p_dec->p_sys;
  247.     block_t *p_pic = NULL;
  248.     if( p_frag->p_buffer[3] == 0xB0 || p_frag->p_buffer[3] == 0xB1 || p_frag->p_buffer[3] == 0xB2 )
  249.     {   /* VOS and USERDATA */
  250. #if 0
  251.         /* Remove VOS start/end code from the original stream */
  252.         block_Release( p_frag );
  253. #else
  254.         /* Append the block for now since ts/ps muxers rely on VOL
  255.          * being present in the stream */
  256.         block_ChainLastAppend( &p_sys->pp_last, p_frag );
  257. #endif
  258.         return NULL;
  259.     }
  260.     if( p_frag->p_buffer[3] >= 0x20 && p_frag->p_buffer[3] <= 0x2f )
  261.     {
  262.         /* Copy the complete VOL */
  263.         if( (size_t)p_dec->fmt_out.i_extra != p_frag->i_buffer )
  264.         {
  265.             p_dec->fmt_out.p_extra =
  266.                 realloc( p_dec->fmt_out.p_extra, p_frag->i_buffer );
  267.             p_dec->fmt_out.i_extra = p_frag->i_buffer;
  268.         }
  269.         memcpy( p_dec->fmt_out.p_extra, p_frag->p_buffer, p_frag->i_buffer );
  270.         ParseVOL( p_dec, &p_dec->fmt_out,
  271.                   p_dec->fmt_out.p_extra, p_dec->fmt_out.i_extra );
  272. #if 0
  273.         /* Remove from the original stream */
  274.         block_Release( p_frag );
  275. #else
  276.         /* Append the block for now since ts/ps muxers rely on VOL
  277.          * being present in the stream */
  278.         block_ChainLastAppend( &p_sys->pp_last, p_frag );
  279. #endif
  280.         return NULL;
  281.     }
  282.     else
  283.     {
  284.         if( !p_dec->fmt_out.i_extra )
  285.         {
  286.             msg_Warn( p_dec, "waiting for VOL" );
  287.             block_Release( p_frag );
  288.             return NULL;
  289.         }
  290.         /* Append the block */
  291.         block_ChainLastAppend( &p_sys->pp_last, p_frag );
  292.     }
  293.     if( p_frag->p_buffer[3] == 0xb6 &&
  294.         ParseVOP( p_dec, p_frag ) == VLC_SUCCESS )
  295.     {
  296.         /* We are dealing with a VOP */
  297.         p_pic = block_ChainGather( p_sys->p_frame );
  298.         p_pic->i_flags = p_sys->i_flags;
  299.         p_pic->i_pts = p_sys->i_interpolated_pts;
  300.         p_pic->i_dts = p_sys->i_interpolated_dts;
  301.         /* Reset context */
  302.         p_sys->p_frame = NULL;
  303.         p_sys->pp_last = &p_sys->p_frame;
  304.     }
  305.     return p_pic;
  306. }
  307. /* ParseVOL:
  308.  *  TODO:
  309.  *      - support aspect ratio
  310.  */
  311. static int ParseVOL( decoder_t *p_dec, es_format_t *fmt,
  312.                      uint8_t *p_vol, int i_vol )
  313. {
  314.     decoder_sys_t *p_sys = p_dec->p_sys;
  315.     int i_vo_type, i_vo_ver_id, i_ar, i_shape;
  316.     bs_t s;
  317.     for( ;; )
  318.     {
  319.         if( p_vol[0] == 0x00 && p_vol[1] == 0x00 && p_vol[2] == 0x01 &&
  320.             p_vol[3] >= 0x20 && p_vol[3] <= 0x2f ) break;
  321.         p_vol++; i_vol--;
  322.         if( i_vol <= 4 ) return VLC_EGENERIC;
  323.     }
  324.     bs_init( &s, &p_vol[4], i_vol - 4 );
  325.     bs_skip( &s, 1 );   /* random access */
  326.     i_vo_type = bs_read( &s, 8 );
  327.     if( bs_read1( &s ) )
  328.     {
  329.         i_vo_ver_id = bs_read( &s, 4 );
  330.         bs_skip( &s, 3 );
  331.     }
  332.     else
  333.     {
  334.         i_vo_ver_id = 1;
  335.     }
  336.     i_ar = bs_read( &s, 4 );
  337.     if( i_ar == 0xf )
  338.     {
  339.         int i_ar_width, i_ar_height;
  340.         i_ar_width = bs_read( &s, 8 );
  341.         i_ar_height= bs_read( &s, 8 );
  342.     }
  343.     if( bs_read1( &s ) )
  344.     {
  345.         int i_chroma_format;
  346.         int i_low_delay;
  347.         /* vol control parameter */
  348.         i_chroma_format = bs_read( &s, 2 );
  349.         i_low_delay = bs_read1( &s );
  350.         if( bs_read1( &s ) )
  351.         {
  352.             bs_skip( &s, 16 );
  353.             bs_skip( &s, 16 );
  354.             bs_skip( &s, 16 );
  355.             bs_skip( &s, 3 );
  356.             bs_skip( &s, 11 );
  357.             bs_skip( &s, 1 );
  358.             bs_skip( &s, 16 );
  359.         }
  360.     }
  361.     /* shape 0->RECT, 1->BIN, 2->BIN_ONLY, 3->GRAY */
  362.     i_shape = bs_read( &s, 2 );
  363.     if( i_shape == 3 && i_vo_ver_id != 1 )
  364.     {
  365.         bs_skip( &s, 4 );
  366.     }
  367.     if( !bs_read1( &s ) ) return VLC_EGENERIC; /* Marker */
  368.     p_sys->i_fps_num = bs_read( &s, 16 ); /* Time increment resolution*/
  369.     if( !p_sys->i_fps_num ) p_sys->i_fps_num = 1;
  370.     if( !bs_read1( &s ) ) return VLC_EGENERIC; /* Marker */
  371.     if( bs_read1( &s ) )
  372.     {
  373.         int i_time_increment_bits = vlc_log2( p_sys->i_fps_num - 1 ) + 1;
  374.         if( i_time_increment_bits < 1 ) i_time_increment_bits = 1;
  375.         p_sys->i_fps_den = bs_read( &s, i_time_increment_bits );
  376.     }
  377.     if( i_shape == 0 )
  378.     {
  379.         bs_skip( &s, 1 );
  380.         fmt->video.i_width = bs_read( &s, 13 );
  381.         bs_skip( &s, 1 );
  382.         fmt->video.i_height= bs_read( &s, 13 );
  383.         bs_skip( &s, 1 );
  384.     }
  385.     return VLC_SUCCESS;
  386. }
  387. static int ParseVOP( decoder_t *p_dec, block_t *p_vop )
  388. {
  389.     decoder_sys_t *p_sys = p_dec->p_sys;
  390.     int64_t i_time_increment, i_time_ref;
  391.     int i_modulo_time_base = 0, i_time_increment_bits;
  392.     bs_t s;
  393.     bs_init( &s, &p_vop->p_buffer[4], p_vop->i_buffer - 4 );
  394.     switch( bs_read( &s, 2 ) )
  395.     {
  396.     case 0:
  397.         p_sys->i_flags = BLOCK_FLAG_TYPE_I;
  398.         break;
  399.     case 1:
  400.         p_sys->i_flags = BLOCK_FLAG_TYPE_P;
  401.         break;
  402.     case 2:
  403.         p_sys->i_flags = BLOCK_FLAG_TYPE_B;
  404.         p_sys->b_frame = true;
  405.         break;
  406.     case 3: /* gni ? */
  407.         p_sys->i_flags = BLOCK_FLAG_TYPE_PB;
  408.         break;
  409.     }
  410.     while( bs_read( &s, 1 ) ) i_modulo_time_base++;
  411.     if( !bs_read1( &s ) ) return VLC_EGENERIC; /* Marker */
  412.     /* VOP time increment */
  413.     i_time_increment_bits = vlc_log2(p_dec->p_sys->i_fps_num - 1) + 1;
  414.     if( i_time_increment_bits < 1 ) i_time_increment_bits = 1;
  415.     i_time_increment = bs_read( &s, i_time_increment_bits );
  416.     /* Interpolate PTS/DTS */
  417.     if( !(p_sys->i_flags & BLOCK_FLAG_TYPE_B) )
  418.     {
  419.         p_sys->i_last_time_ref = p_sys->i_time_ref;
  420.         p_sys->i_time_ref +=
  421.             (i_modulo_time_base * p_dec->p_sys->i_fps_num);
  422.         i_time_ref = p_sys->i_time_ref;
  423.     }
  424.     else
  425.     {
  426.         i_time_ref = p_sys->i_last_time_ref +
  427.             (i_modulo_time_base * p_dec->p_sys->i_fps_num);
  428.     }
  429. #if 0
  430.     msg_Err( p_dec, "interp pts/dts (%lli,%lli), pts/dts (%lli,%lli)",
  431.              p_sys->i_interpolated_pts, p_sys->i_interpolated_dts,
  432.              p_vop->i_pts, p_vop->i_dts );
  433. #endif
  434.     if( p_dec->p_sys->i_fps_num < 5 && /* Work-around buggy streams */
  435.         p_dec->fmt_in.video.i_frame_rate > 0 &&
  436.         p_dec->fmt_in.video.i_frame_rate_base > 0 )
  437.     {
  438.         p_sys->i_interpolated_pts += INT64_C(1000000) *
  439.         p_dec->fmt_in.video.i_frame_rate_base /
  440.         p_dec->fmt_in.video.i_frame_rate;
  441.     }
  442.     else if( p_dec->p_sys->i_fps_num )
  443.         p_sys->i_interpolated_pts +=
  444.             ( INT64_C(1000000) * (i_time_ref + i_time_increment -
  445.               p_sys->i_last_time - p_sys->i_last_timeincr) /
  446.               p_dec->p_sys->i_fps_num );
  447.     p_sys->i_last_time = i_time_ref;
  448.     p_sys->i_last_timeincr = i_time_increment;
  449.     /* Correct interpolated dts when we receive a new pts/dts */
  450.     if( p_vop->i_pts > 0 )
  451.         p_sys->i_interpolated_pts = p_vop->i_pts;
  452.     if( p_vop->i_dts > 0 )
  453.         p_sys->i_interpolated_dts = p_vop->i_dts;
  454.     if( (p_sys->i_flags & BLOCK_FLAG_TYPE_B) || !p_sys->b_frame )
  455.     {
  456.         /* Trivial case (DTS == PTS) */
  457.         p_sys->i_interpolated_dts = p_sys->i_interpolated_pts;
  458.         if( p_vop->i_pts > 0 )
  459.             p_sys->i_interpolated_dts = p_vop->i_pts;
  460.         if( p_vop->i_dts > 0 )
  461.             p_sys->i_interpolated_dts = p_vop->i_dts;
  462.         p_sys->i_interpolated_pts = p_sys->i_interpolated_dts;
  463.     }
  464.     else
  465.     {
  466.         if( p_sys->i_last_ref_pts > 0 )
  467.             p_sys->i_interpolated_dts = p_sys->i_last_ref_pts;
  468.         p_sys->i_last_ref_pts = p_sys->i_interpolated_pts;
  469.     }
  470.     return VLC_SUCCESS;
  471. }
  472. /* look at ffmpeg av_log2 ;) */
  473. static int vlc_log2( unsigned int v )
  474. {
  475.     int n = 0;
  476.     static const int vlc_log2_table[16] =
  477.     {
  478.         0,0,1,1,2,2,2,2, 3,3,3,3,3,3,3,3
  479.     };
  480.     if( v&0xffff0000 )
  481.     {
  482.         v >>= 16;
  483.         n += 16;
  484.     }
  485.     if( v&0xff00 )
  486.     {
  487.         v >>= 8;
  488.         n += 8;
  489.     }
  490.     if( v&0xf0 )
  491.     {
  492.         v >>= 4;
  493.         n += 4;
  494.     }
  495.     n += vlc_log2_table[v];
  496.     return n;
  497. }