bin/blhc

   1 #!/usr/bin/perl
   2
   3 # Build log hardening check, checks build logs for missing hardening flags.
   4
   5 # Copyright (C) 2012-2016  Simon Ruderich
   6 #
   7 # This program is free software: you can redistribute it and/or modify
   8 # it under the terms of the GNU General Public License as published by
   9 # the Free Software Foundation, either version 3 of the License, or
  10 # (at your option) any later version.
  11 #
  12 # This program is distributed in the hope that it will be useful,
  13 # but WITHOUT ANY WARRANTY; without even the implied warranty of
  14 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  15 # GNU General Public License for more details.
  16 #
  17 # You should have received a copy of the GNU General Public License
  18 # along with this program.  If not, see <http://www.gnu.org/licenses/>.
  19
  20
  21 use strict;
  22 use warnings;
  23
  24 use Getopt::Long ();
  25 use Text::ParseWords ();
  26
  27 our $VERSION = '0.05';
  28
  29
  30 # CONSTANTS/VARIABLES
  31
  32 # Regex to catch compiler commands.
  33 my $cc_regex = qr/
  34     (?<!\s-)               # ignore options, e.g. "-c++" [sic!] (used by swig)
  35     (?<!\.)                # ignore file names, e.g. "test.gcc"
  36     (?:cc|gcc|g\+\+|c\+\+)
  37     (?:-[\d.]+)?           # version suffix, e.g. "gcc-4.6"
  38     /x;
  39 # Full regex which matches the complete compiler name. Used in a few places to
  40 # prevent false negatives.
  41 my $cc_regex_full_prefix = qr/
  42     [a-z0-9_]+-(?:linux-|kfreebsd-)?gnu(?:eabi|eabihf)?
  43     /x;
  44 my $cc_regex_full = qr/
  45     (?:$cc_regex_full_prefix-)?
  46     $cc_regex
  47     /x;
  48 # Regex to check if a line contains a compiler command.
  49 my $cc_regex_normal = qr/
  50     \b$cc_regex(?:\s|\\)
  51     /x;
  52 # Regex to catch (GCC) compiler warnings.
  53 my $warning_regex = qr/^(.+?):(\d+):\d+: warning: (.+?) \[(.+?)\]$/;
  54 # Regex to catch libtool commands and not lines which show commands executed
  55 # by libtool (e.g. libtool: link: ...).
  56 my $libtool_regex = qr/\blibtool\s.*--mode=/;
  57 my $libtool_link_regex = qr/\blibtool: link: /;
  58
  59 # List of source file extensions which require preprocessing.
  60 my @source_preprocess_compile_cpp = (
  61     # C++
  62     qw( cc cp cxx cpp CPP c++ C ),
  63     # Objective-C++
  64     qw( mm M ),
  65 );
  66 my @source_preprocess_compile = (
  67     # C
  68     qw( c ),
  69     # Objective-C
  70     qw( m ),
  71     # (Objective-)C++
  72     @source_preprocess_compile_cpp,
  73     # Fortran
  74     qw( F FOR fpp FPP FTN F90 F95 F03 F08 ),
  75 );
  76 my @source_preprocess_no_compile = (
  77     # Assembly
  78     qw( S sx ),
  79 );
  80 my @source_preprocess = (
  81     @source_preprocess_compile,
  82     @source_preprocess_no_compile,
  83 );
  84 # List of source file extensions which don't require preprocessing.
  85 my @source_no_preprocess_compile_cpp = (
  86     # C++
  87     qw( ii ),
  88     # Objective-C++
  89     qw( mii ),
  90 );
  91 my @source_no_preprocess_compile_ada = (
  92     # Ada body
  93     qw( adb ),
  94     # If you add another file, fix use of @source_no_preprocess_compile_ada
  95     # below (search for $compile_ada).
  96 );
  97 my @source_no_preprocess_compile = (
  98     # C
  99     qw( i ),
 100     # (Objective-)C++
 101     @source_no_preprocess_compile_cpp,
 102     # Objective-C
 103     qw( mi ),
 104     # Fortran
 105     qw( f for ftn f90 f95 f03 f08 ),
 106     # Ada
 107     @source_no_preprocess_compile_ada,
 108 );
 109 my @source_no_preprocess_no_compile = (
 110     # Assembly
 111     qw( s ),
 112     # Ada specification
 113     qw( ads ),
 114 );
 115 my @source_no_preprocess = (
 116     @source_no_preprocess_compile,
 117     @source_no_preprocess_no_compile,
 118 );
 119 # List of header file extensions which require preprocessing.
 120 my @header_preprocess = (
 121     # C, C++, Objective-C, Objective-C++
 122     qw( h ),
 123     # C++
 124     qw( hh H hp hxx hpp HPP h++ tcc ),
 125 );
 126 # Object files.
 127 my @object = (
 128     # Normal object files.
 129     qw ( o ),
 130     # Libtool object files.
 131     qw ( lo la ),
 132     # Dynamic libraries. bzip2 uses .sho.
 133     qw ( so sho ),
 134     # Static libraries.
 135     qw ( a ),
 136 );
 137
 138 # Hashes for fast extensions lookup to check if a file falls in one of these
 139 # categories.
 140 my %extensions_no_preprocess = map { $_ => 1 } (
 141     # There's no @header_no_preprocess.
 142     @source_no_preprocess,
 143 );
 144 my %extensions_preprocess = map { $_ => 1 } (
 145     @header_preprocess,
 146     @source_preprocess,
 147 );
 148 my %extensions_compile_link = map { $_ => 1 } (
 149     @source_preprocess,
 150     @source_no_preprocess,
 151 );
 152 my %extensions_compile = map { $_ => 1 } (
 153     @source_preprocess_compile,
 154     @source_no_preprocess_compile,
 155 );
 156 my %extensions_no_compile = map { $_ => 1 } (
 157     @source_preprocess_no_compile,
 158     @source_no_preprocess_no_compile,
 159 );
 160 my %extensions_compile_cpp = map { $_ => 1 } (
 161     @source_preprocess_compile_cpp,
 162     @source_no_preprocess_compile_cpp,
 163 );
 164 my %extensions_object = map { $_ => 1 } (
 165     @object,
 166 );
 167 my %extension = map { $_ => 1 } (
 168     @source_no_preprocess,
 169     @header_preprocess,
 170     @source_preprocess,
 171     @object,
 172 );
 173
 174 # Regexp to match file extensions.
 175 my $file_extension_regex = qr/
 176     \s
 177     \S+             # Filename without extension.
 178     \.
 179     ([^\/\\.,;:\s]+)# File extension.
 180     (?=\s|\\)       # At end of word. Can't use \b because some files have non
 181                     # word characters at the end and because \b matches double
 182                     # extensions (like .cpp.o). Works always as all lines are
 183                     # terminated with "\n".
 184     /x;
 185
 186 # Expected (hardening) flags. All flags are used as regexps (and compiled to
 187 # real regexps below for better execution speed).
 188 my @def_cflags = (
 189     '-g',
 190     '-O(?:2|3)', # keep at index 1, search for @def_cflags_debug to change it
 191 );
 192 my @def_cflags_debug = (
 193     # These flags indicate a debug build which disables checks for -O2.
 194     '-O0',
 195     '-Og',
 196 );
 197 my @def_cflags_format = (
 198     '-Wformat(?:=2)?', # -Wformat=2 implies -Wformat, accept it too
 199     '-Werror=format-security', # implies -Wformat-security
 200 );
 201 my @def_cflags_fortify = (
 202     # fortify needs at least -O1, but -O2 is recommended anyway
 203 );
 204 my @def_cflags_stack = (
 205     '-fstack-protector',
 206     '--param[= ]ssp-buffer-size=4',
 207 );
 208 my @def_cflags_stack_strong = (
 209     '-fstack-protector-strong',
 210 );
 211 my @def_cflags_pie = (
 212     '-fPIE',
 213 );
 214 my @def_cxxflags = (
 215     @def_cflags,
 216 );
 217 # @def_cxxflags_* is the same as @def_cflags_*.
 218 my @def_cppflags = ();
 219 my @def_cppflags_fortify = (
 220     '-D_FORTIFY_SOURCE=2', # must be first, see cppflags_fortify_broken()
 221     # If you add another flag fix hack below (search for "Hack to fix") and
 222     # $def_cppflags_fortify[0].
 223 );
 224 my @def_cppflags_fortify_bad = (
 225     # These flags may overwrite -D_FORTIFY_SOURCE=2.
 226     '-U_FORTIFY_SOURCE',
 227     '-D_FORTIFY_SOURCE=0',
 228     '-D_FORTIFY_SOURCE=1',
 229 );
 230 my @def_ldflags = ();
 231 my @def_ldflags_relro = (
 232     '-Wl,(?:-z,)?relro',
 233 );
 234 my @def_ldflags_bindnow = (
 235     '-Wl,(?:-z,)?now',
 236 );
 237 my @def_ldflags_pie = (
 238     '-fPIE',
 239     '-pie',
 240 );
 241 my @def_ldflags_pic = (
 242     '-fPIC',
 243     '-fpic',
 244     '-shared',
 245 );
 246 # References to all flags checked by the flag checker.
 247 my @flag_refs = (
 248     \@def_cflags,
 249     \@def_cflags_format,
 250     \@def_cflags_fortify,
 251     \@def_cflags_stack,
 252     \@def_cflags_stack_strong,
 253     \@def_cflags_pie,
 254     \@def_cxxflags,
 255     \@def_cppflags,
 256     \@def_cppflags_fortify,
 257     \@def_ldflags,
 258     \@def_ldflags_relro,
 259     \@def_ldflags_bindnow,
 260     \@def_ldflags_pie,
 261 );
 262 # References to all used flags.
 263 my @flag_refs_all = (
 264     @flag_refs,
 265     \@def_cflags_debug,
 266     \@def_cppflags_fortify_bad,
 267     \@def_ldflags_pic,
 268 );
 269 # Renaming rules for the output so the regex parts are not visible. Also
 270 # stores string values of flag regexps above, see compile_flag_regexp().
 271 my %flag_renames = (
 272     '-O(?:2|3)'                    => '-O2',
 273     '-Wformat(?:=2)?'              => '-Wformat',
 274     '--param[= ]ssp-buffer-size=4' => '--param=ssp-buffer-size=4',
 275     '-Wl,(?:-z,)?relro'            => '-Wl,-z,relro',
 276     '-Wl,(?:-z,)?now'              => '-Wl,-z,now',
 277 );
 278
 279 my %exit_code = (
 280     no_compiler_commands => 1 << 0,
 281     # used by POD::Usage => 1 << 1,
 282     non_verbose_build    => 1 << 2,
 283     flags_missing        => 1 << 3,
 284     hardening_wrapper    => 1 << 4,
 285     invalid_cmake        => 1 << 5,
 286 );
 287
 288 my %buildd_tag = (
 289     no_compiler_commands => 'I-no-compiler-commands',
 290     non_verbose_build    => 'W-compiler-flags-hidden',
 291     flags_missing        => 'W-dpkg-buildflags-missing',
 292     hardening_wrapper    => 'I-hardening-wrapper-used',
 293     invalid_cmake        => 'I-invalid-cmake-used',
 294 );
 295
 296 # Statistics of missing flags and non-verbose build commands. Used for
 297 # $option_buildd.
 298 my %statistics = (
 299     preprocess          => 0,
 300     preprocess_missing  => 0,
 301     compile             => 0,
 302     compile_missing     => 0,
 303     compile_cpp         => 0,
 304     compile_cpp_missing => 0,
 305     link                => 0,
 306     link_missing        => 0,
 307     commands            => 0,
 308     commands_nonverbose => 0,
 309 );
 310
 311 # Use colored (ANSI) output?
 312 my $option_color;
 313
 314
 315 # FUNCTIONS
 316
 317 # Only works for single-level arrays with no undef values. Thanks to perlfaq4.
 318 sub array_equal {
 319     my ($first_ref, $second_ref) = @_;
 320
 321     return 0 if scalar @{$first_ref} != scalar @{$second_ref};
 322
 323     my $length = scalar @{$first_ref};
 324     for (my $i = 0; $i < $length; $i++) {
 325         return 0 if $first_ref->[$i] ne $second_ref->[$i];
 326     }
 327
 328     return 1;
 329 }
 330
 331 sub error_flags {
 332     my ($message, $missing_flags_ref, $flag_renames_ref, $line) = @_;
 333
 334     # Get string value of qr//-escaped regexps and if requested rename them.
 335     my @missing_flags = map {
 336             $flag_renames_ref->{$_}
 337         } @{$missing_flags_ref};
 338
 339     my $flags = join ' ', @missing_flags;
 340     printf '%s (%s)%s %s',
 341            error_color($message, 'red'), $flags, error_color(':', 'yellow'),
 342            $line;
 343
 344     return;
 345 }
 346 sub error_non_verbose_build {
 347     my ($line) = @_;
 348
 349     printf '%s%s %s',
 350            error_color('NONVERBOSE BUILD', 'red'),
 351            error_color(':', 'yellow'),
 352            $line;
 353
 354     return;
 355 }
 356 sub error_invalid_cmake {
 357     my ($version) = @_;
 358
 359     printf "%s%s %s\n",
 360             error_color('INVALID CMAKE', 'red'),
 361             error_color(':', 'yellow'),
 362             $version;
 363
 364     return;
 365 }
 366 sub error_hardening_wrapper {
 367     printf "%s%s %s\n",
 368             error_color('HARDENING WRAPPER', 'red'),
 369             error_color(':', 'yellow'),
 370             'no checks possible, aborting';
 371
 372     return;
 373 }
 374 sub error_color {
 375     my ($message, $color) = @_;
 376
 377     if ($option_color) {
 378         return Term::ANSIColor::colored($message, $color);
 379     } else {
 380         return $message;
 381     }
 382 }
 383
 384 sub any_flags_used {
 385     my ($line, @flags) = @_;
 386
 387     foreach my $flag (@flags) {
 388         return 1 if $line =~ /$flag/;
 389     }
 390
 391     return 0;
 392 }
 393 sub all_flags_used {
 394     my ($line, $missing_flags_ref, @flags) = @_;
 395
 396     my @missing_flags = ();
 397     foreach my $flag (@flags) {
 398         if (not $line =~ /$flag/) {
 399             push @missing_flags, $flag;
 400         }
 401     }
 402
 403     return 1 if scalar @missing_flags == 0;
 404
 405     @{$missing_flags_ref} = @missing_flags;
 406     return 0;
 407 }
 408
 409 sub cppflags_fortify_broken {
 410     my ($line, $missing_flags) = @_;
 411
 412     # This doesn't take the position into account, but is a simple solution.
 413     # And if the build system tries to force -D_FORTIFY_SOURCE=0/1, something
 414     # is wrong anyway.
 415
 416     if (any_flags_used($line, @def_cppflags_fortify_bad)) {
 417         # $def_cppflags_fortify[0] must be -D_FORTIFY_SOURCE=2!
 418         push @{$missing_flags}, $def_cppflags_fortify[0];
 419         return 1;
 420     }
 421
 422     return 0;
 423 }
 424
 425 # Modifies $missing_flags_ref array.
 426 sub pic_pie_conflict {
 427     my ($line, $pie, $missing_flags_ref, @flags_pie) = @_;
 428
 429     return 0 if not $pie;
 430     return 0 if not any_flags_used($line, @def_ldflags_pic);
 431
 432     my %flags = map { $_ => 1 } @flags_pie;
 433
 434     # Remove all PIE flags from @missing_flags as they are not required with
 435     # -fPIC.
 436     my @result = grep {
 437         not exists $flags{$_}
 438     } @{$missing_flags_ref};
 439     @{$missing_flags_ref} = @result;
 440
 441     # We got a conflict when no flags are left, thus only PIE flags were
 442     # missing. If other flags were missing abort because the conflict is not
 443     # the problem.
 444     return scalar @result == 0;
 445 }
 446
 447 sub is_non_verbose_build {
 448     my ($line, $next_line, $skip_ref) = @_;
 449
 450     if ($line =~ /$libtool_regex/o) {
 451         # libtool's --silent hides the real compiler flags.
 452         if ($line =~ /\s--silent/) {
 453             return 1;
 454         # If --silent is not present, skip this line as some compiler flags
 455         # might be missing (e.g. -fPIE) which are handled correctly by libtool
 456         # internally. libtool displays the real compiler command on the next
 457         # line, so the flags are checked as usual.
 458         } else {
 459             ${$skip_ref} = 1;
 460             return 0;
 461         }
 462     }
 463
 464     if (not (index($line, 'checking if you want to see long compiling messages... no') == 0
 465                 or $line =~ /^\s*\[?(?:CC|CCLD|C\+\+|CXX|CXXLD|LD|LINK)\]?\s+(.+?)$/
 466                 or $line =~ /^\s*[Cc]ompiling\s+(.+?)(?:\.\.\.)?$/
 467                 or $line =~ /^\s*[Bb]uilding (?:program|shared library)\s+(.+?)$/
 468                 or $line =~ /^\s*\[[\d ]+%\] Building (?:C|CXX) object (.+?)$/)) {
 469         return 0;
 470     }
 471
 472     # False positives.
 473     #
 474     # C++ compiler setting.
 475     return 0 if $line =~ /^\s*C\+\+.+?:\s+(?:yes|no)\s*$/;
 476     return 0 if $line =~ /^\s*C\+\+ Library: stdc\+\+$/;
 477     # "Compiling" non binary files.
 478     return 0 if $line =~ /^\s*Compiling \S+\.(?:py|el)['"]?\s*(?:\.\.\.)?$/;
 479     # "Compiling" with no file name.
 480     if ($line =~ /^\s*[Cc]ompiling\s+(.+?)(?:\.\.\.)?$/) {
 481         # $file_extension_regex may need spaces around the filename.
 482         return 0 if not " $1 " =~ /$file_extension_regex/o;
 483     }
 484
 485     my $file = $1;
 486
 487     # On the first pass we only check if this line is verbose or not.
 488     return 1 if not defined $next_line;
 489
 490     # Second pass, we have access to the next line.
 491     ${$skip_ref} = 0;
 492
 493     # CMake and other build systems print the non-verbose messages also when
 494     # building verbose. If a compiler and the file name occurs in the next
 495     # line, treat it as verbose build.
 496     if (defined $file) {
 497         # Get filename, we can't use the complete path as only parts of it are
 498         # used in the real compiler command.
 499         $file =~ m{/([^/\s]+)$};
 500         $file = $1;
 501
 502         if (index($next_line, $file) != -1 and $next_line =~ /$cc_regex/o) {
 503             # Not a non-verbose line, but we still have to skip the current line
 504             # as it doesn't contain any compiler commands.
 505             ${$skip_ref} = 1;
 506             return 0;
 507         }
 508     }
 509
 510     return 1;
 511 }
 512
 513 # Remove @flags from $flag_refs_ref, uses $flag_renames_ref as reference.
 514 sub remove_flags {
 515     my ($flag_refs_ref, $flag_renames_ref, @flags) = @_;
 516
 517     my %removes = map { $_ => 1 } @flags;
 518     foreach my $flags (@{$flag_refs_ref}) {
 519         @{$flags} = grep {
 520             # Flag found as string.
 521             not exists $removes{$_}
 522             # Flag found as string representation of regexp.
 523                 and (not defined $flag_renames_ref->{$_}
 524                         or not exists $removes{$flag_renames_ref->{$_}})
 525         } @{$flags};
 526     }
 527
 528     return;
 529 }
 530
 531 # Modifies $flag_renames_ref hash.
 532 sub compile_flag_regexp {
 533     my ($flag_renames_ref, @flags) = @_;
 534
 535     my @result = ();
 536     foreach my $flag (@flags) {
 537         # Compile flag regexp for faster execution.
 538         my $regex = qr/\s$flag(?:\s|\\)/;
 539
 540         # Store flag name in replacement string for correct flags in messages
 541         # with qr//ed flag regexps.
 542         $flag_renames_ref->{$regex}
 543             = (exists $flag_renames_ref->{$flag})
 544                 ? $flag_renames_ref->{$flag}
 545                 : $flag;
 546
 547         push @result, $regex;
 548     }
 549     return @result;
 550 }
 551
 552 # Does any extension in @extensions exist in %{$extensions_ref}?
 553 sub extension_found {
 554     my ($extensions_ref, @extensions) = @_;
 555
 556     foreach my $extension (@extensions) {
 557         if (exists $extensions_ref->{$extension}) {
 558             return 1;
 559         }
 560     }
 561     return 0;
 562 }
 563
 564
 565 # MAIN
 566
 567 # Parse command line arguments.
 568 my $option_help             = 0;
 569 my $option_version          = 0;
 570 my $option_pie              = 0;
 571 my $option_bindnow          = 0;
 572 my @option_ignore_arch      = ();
 573 my @option_ignore_flag      = ();
 574 my @option_ignore_arch_flag = ();
 575 my @option_ignore_line      = ();
 576 my @option_ignore_arch_line = ();
 577 my $option_all              = 0;
 578 my $option_arch             = undef;
 579 my $option_buildd           = 0;
 580    $option_color            = 0;
 581 if (not Getopt::Long::GetOptions(
 582             'help|h|?'           => \$option_help,
 583             'version'            => \$option_version,
 584             # Hardening options.
 585             'pie'                => \$option_pie,
 586             'bindnow'            => \$option_bindnow,
 587             'all'                => \$option_all,
 588             # Ignore.
 589             'ignore-arch=s'      => \@option_ignore_arch,
 590             'ignore-flag=s'      => \@option_ignore_flag,
 591             'ignore-arch-flag=s' => \@option_ignore_arch_flag,
 592             'ignore-line=s'      => \@option_ignore_line,
 593             'ignore-arch-line=s' => \@option_ignore_arch_line,
 594             # Misc.
 595             'color'              => \$option_color,
 596             'arch=s'             => \$option_arch,
 597             'buildd'             => \$option_buildd,
 598         )) {
 599     require Pod::Usage;
 600     Pod::Usage::pod2usage(2);
 601 }
 602 if ($option_help) {
 603     require Pod::Usage;
 604     Pod::Usage::pod2usage(1);
 605 }
 606 if ($option_version) {
 607     print <<"EOF";
 608 blhc $VERSION  Copyright (C) 2012-2016  Simon Ruderich
 609
 610 This program is free software: you can redistribute it and/or modify
 611 it under the terms of the GNU General Public License as published by
 612 the Free Software Foundation, either version 3 of the License, or
 613 (at your option) any later version.
 614
 615 This program is distributed in the hope that it will be useful,
 616 but WITHOUT ANY WARRANTY; without even the implied warranty of
 617 MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 618 GNU General Public License for more details.
 619
 620 You should have received a copy of the GNU General Public License
 621 along with this program.  If not, see <http://www.gnu.org/licenses/>.
 622 EOF
 623     exit 0;
 624 }
 625
 626 # Arguments missing.
 627 if (scalar @ARGV == 0) {
 628     require Pod::Usage;
 629     Pod::Usage::pod2usage(2);
 630 }
 631
 632 # Don't load Term::ANSIColor in buildd mode because Term::ANSIColor is not
 633 # installed on Debian's buildds.
 634 if (not $option_buildd) {
 635     require Term::ANSIColor;
 636 }
 637
 638 if ($option_all) {
 639     $option_pie     = 1;
 640     $option_bindnow = 1;
 641 }
 642
 643 # Precompiled ignores for faster lookup.
 644 my %option_ignore_arch_flag = ();
 645 my %option_ignore_arch_line = ();
 646
 647 # Strip flags which should be ignored.
 648 if (scalar @option_ignore_flag > 0) {
 649     remove_flags(\@flag_refs, \%flag_renames, @option_ignore_flag);
 650 }
 651 # Same for arch specific ignore flags, but only prepare here.
 652 if (scalar @option_ignore_arch_flag > 0) {
 653     foreach my $ignore (@option_ignore_arch_flag) {
 654         my ($ignore_arch, $ignore_flag) = split /:/, $ignore, 2;
 655
 656         if (not $ignore_arch or not $ignore_flag) {
 657             printf STDERR 'Value "%s" invalid for option ignore-arch-flag '
 658                         . '("arch:flag" expected)' . "\n", $ignore;
 659             require Pod::Usage;
 660             Pod::Usage::pod2usage(2);
 661         }
 662
 663         push @{$option_ignore_arch_flag{$ignore_arch}}, $ignore_flag;
 664     }
 665 }
 666
 667 # Precompile all flag regexps. any_flags_used(), all_flags_used() get a lot
 668 # faster with this.
 669 foreach my $flags (@flag_refs_all) {
 670     @{$flags} = compile_flag_regexp(\%flag_renames, @{$flags});
 671 }
 672
 673 # Precompile ignore line regexps, also anchor at beginning and end of line.
 674 foreach my $ignore (@option_ignore_line) {
 675     $ignore = qr/^$ignore$/;
 676 }
 677 # Same for arch specific ignore lines.
 678 if (scalar @option_ignore_arch_line > 0) {
 679     foreach my $ignore (@option_ignore_arch_line) {
 680         my ($ignore_arch, $ignore_line) = split /:/, $ignore, 2;
 681
 682         if (not $ignore_arch or not $ignore_line) {
 683             printf STDERR 'Value "%s" invalid for option ignore-arch-line '
 684                         . '("arch:line" expected)' . "\n", $ignore;
 685             require Pod::Usage;
 686             Pod::Usage::pod2usage(2);
 687         }
 688
 689         push @{$option_ignore_arch_line{$ignore_arch}}, qr/^$ignore_line$/;
 690     }
 691 }
 692
 693 # Final exit code.
 694 my $exit = 0;
 695
 696 FILE:
 697 foreach my $file (@ARGV) {
 698     print "checking '$file'...\n" if scalar @ARGV > 1;
 699
 700     -f $file or die "No such file: $file";
 701
 702     open my $fh, '<', $file or die $!;
 703
 704     # Architecture of this file.
 705     my $arch = $option_arch;
 706
 707     # Hardening options. Not all architectures support all hardening options.
 708     my $harden_format  = 1;
 709     my $harden_fortify = 1;
 710     my $harden_stack   = 1;
 711     my $harden_stack_strong = 1;
 712     my $harden_relro   = 1;
 713     my $harden_bindnow = $option_bindnow; # defaults to 0
 714     my $harden_pie     = $option_pie;     # defaults to 0
 715
 716     # Does this build log use ada? Ada also uses gcc as compiler but uses
 717     # different CFLAGS. But only perform ada checks if an ada compiler is used
 718     # for performance reasons.
 719     my $ada = 0;
 720
 721     while (my $line = <$fh>) {
 722         # Detect architecture automatically unless overridden. For buildd logs
 723         # only, doesn't use the dpkg-buildpackage header. Necessary to ignore
 724         # build logs which aren't built (wrong architecture, build error,
 725         # etc.).
 726         if (not $arch) {
 727             if (index($line, 'Build Architecture: ') == 0) {
 728                 $arch = substr $line, 20, -1; # -1 to ignore '\n' at the end
 729             # For old logs (sbuild << 0.63.0-1).
 730             } elsif (index($line, 'Architecture: ') == 0) {
 731                 $arch = substr $line, 14, -1; # -1 to ignore '\n' at the end
 732             }
 733         }
 734
 735         # dpkg-buildflags only provides hardening flags since 1.16.1, don't
 736         # check for hardening flags in buildd mode if an older dpkg-dev is
 737         # used. Default flags (-g -O2) are still checked.
 738         #
 739         # Packages which were built before 1.16.1 but used their own hardening
 740         # flags are not checked.
 741         #
 742         # Strong stack protector is used since dpkg 1.17.11.
 743         if ($option_buildd
 744                 and index($line, 'Toolchain package versions: ') == 0) {
 745             require Dpkg::Version;
 746
 747             my $disable = 1;
 748             my $disable_strong = 1;
 749
 750             if ($line =~ /\bdpkg-dev_(\S+)/) {
 751                 if (Dpkg::Version::version_compare($1, '1.16.1') >= 0) {
 752                     $disable = 0;
 753                 }
 754                 if (Dpkg::Version::version_compare($1, '1.17.11') >= 0) {
 755                     $disable_strong = 0;
 756                 }
 757             }
 758
 759             if ($disable) {
 760                 $harden_format  = 0;
 761                 $harden_fortify = 0;
 762                 $harden_stack   = 0;
 763                 $harden_relro   = 0;
 764                 $harden_bindnow = 0;
 765                 $harden_pie     = 0;
 766             }
 767             if ($disable_strong) {
 768                 $harden_stack_strong = 0;
 769             }
 770         }
 771
 772         # The following two versions of CMake in Debian obeyed CPPFLAGS, but
 773         # this was later dropped because upstream rejected the patch. Thus
 774         # build logs with these versions will have fortify hardening flags
 775         # enabled, even though they may be not correctly set and are missing
 776         # when build with later CMake versions. Thanks to Aron Xu for letting
 777         # me know.
 778         if (index($line, 'Package versions: ') == 0
 779                 and $line =~ /\bcmake_(\S+)/
 780                 and ($1 eq '2.8.7-1' or $1 eq '2.8.7-2')) {
 781             if (not $option_buildd) {
 782                 error_invalid_cmake($1);
 783                 $exit |= $exit_code{invalid_cmake};
 784             } else {
 785                 print "$buildd_tag{invalid_cmake}|$1|\n";
 786             }
 787         }
 788
 789         # Debian's build daemons use "Filtered Build-Depends:" (or just
 790         # "Build-Depends:" in older versions) for the build dependencies, but
 791         # pbuilder uses "Depends:"; support both.
 792         if (index($line, 'Filtered Build-Depends: ') == 0
 793                 or index($line, 'Build-Depends: ') == 0
 794                 or index($line, 'Depends: ') == 0) {
 795             # If hardening wrapper is used (wraps calls to gcc and adds
 796             # hardening flags automatically) we can't perform any checks,
 797             # abort.
 798             if ($line =~ /\bhardening-wrapper\b/) {
 799                 if (not $option_buildd) {
 800                     error_hardening_wrapper();
 801                     $exit |= $exit_code{hardening_wrapper};
 802                 } else {
 803                     print "$buildd_tag{hardening_wrapper}||\n";
 804                 }
 805                 next FILE;
 806             }
 807
 808             # Ada compiler.
 809             if ($line =~ /\bgnat\b/) {
 810                 $ada = 1;
 811             }
 812         }
 813
 814         # We skip over unimportant lines at the beginning of the log to
 815         # prevent false positives.
 816         last if index($line, 'dpkg-buildpackage: ') == 0;
 817     }
 818
 819     # Input lines, contain only the lines with compiler commands.
 820     my @input = ();
 821     # Non-verbose lines in the input. Used to reduce calls to
 822     # is_non_verbose_build() (which is quite slow) in the second loop when
 823     # it's already clear if a line is non-verbose or not.
 824     my @input_nonverbose = ();
 825
 826     my $continuation = 0;
 827     my $complete_line = undef;
 828     my $non_verbose;
 829     while (my $line = <$fh>) {
 830         # And stop at the end of the build log. Package details (reported by
 831         # the buildd logs) are not important for us. This also prevents false
 832         # positives.
 833         last if index($line, 'Build finished at ') == 0
 834                 and $line =~ /^Build finished at \d{8}-\d{4}$/;
 835
 836         if (not $continuation) {
 837             $non_verbose = 0;
 838         }
 839
 840         # Detect architecture automatically unless overridden.
 841         if (not $arch
 842                 and index($line, 'dpkg-buildpackage: host architecture ') == 0) {
 843             $arch = substr $line, 37, -1; # -1 to ignore '\n' at the end
 844
 845             # Old buildd logs use e.g. "host architecture is alpha", remove
 846             # the "is", otherwise debarch_to_debtriplet() will not detect the
 847             # architecture.
 848             if (index($arch, 'is ') == 0) {
 849                 $arch = substr $arch, 3;
 850             }
 851         }
 852
 853         next if $line =~ /^\s*#/;
 854         # Ignore compiler warnings for now.
 855         next if $line =~ /$warning_regex/o;
 856
 857         if (not $option_buildd and index($line, "\033") != -1) { # \033 = esc
 858             # Remove all ANSI color sequences which are sometimes used in
 859             # non-verbose builds.
 860             $line = Term::ANSIColor::colorstrip($line);
 861             # Also strip '\0xf' (delete previous character), used by Elinks'
 862             # build system.
 863             $line =~ s/\x0f//g;
 864             # And "ESC(B" which seems to be used on armhf and hurd (not sure
 865             # what it does).
 866             $line =~ s/\033\(B//g;
 867         }
 868
 869         # Check if this line indicates a non verbose build.
 870         my $skip = 0;
 871         $non_verbose |= is_non_verbose_build($line, undef, \$skip);
 872         next if $skip;
 873
 874         # One line may contain multiple commands (";"). Treat each one as
 875         # single line. parse_line() is slow, only use it when necessary.
 876         my @line = (index($line, ';') == -1)
 877                  ? ($line)
 878                  : map {
 879                        # Ensure newline at the line end - necessary for
 880                        # correct parsing later.
 881                        $_ =~ s/\s+$//;
 882                        $_ .= "\n";
 883                    } Text::ParseWords::parse_line(';', 1, $line);
 884         foreach my $line (@line) {
 885             if ($continuation) {
 886                 $continuation = 0;
 887
 888                 # Join lines, but leave the "\" in place so it's clear where
 889                 # the original line break was.
 890                 chomp $complete_line;
 891                 $complete_line .= ' ' . $line;
 892             }
 893             # Line continuation, line ends with "\".
 894             if ($line =~ /\\$/) {
 895                 $continuation = 1;
 896                 # Start line continuation.
 897                 if (not defined $complete_line) {
 898                     $complete_line = $line;
 899                 }
 900                 next;
 901             }
 902
 903             # Use the complete line if a line continuation occurred.
 904             if (defined $complete_line) {
 905                 $line = $complete_line;
 906                 $complete_line = undef;
 907             }
 908
 909             # Ignore lines with no compiler commands.
 910             next if not $non_verbose
 911                     and not $line =~ /$cc_regex_normal/o;
 912             # Ignore lines with no filenames with extensions. May miss some
 913             # non-verbose builds (e.g. "gcc -o test" [sic!]), but shouldn't be
 914             # a problem as the log will most likely contain other non-verbose
 915             # commands which are detected.
 916             next if not $non_verbose
 917                     and not $line =~ /$file_extension_regex/o;
 918
 919             # Ignore false positives.
 920             #
 921             # `./configure` output.
 922             next if not $non_verbose
 923                     and $line =~ /^(?:checking|[Cc]onfigure:) /;
 924             next if $line =~ /^\s*(?:Host\s+)?(?:C(?:\+\+)?\s+)?
 925                                 [Cc]ompiler[\s.]*:?\s+
 926                                 /x;
 927             next if $line =~ m{^\s*(?:-\s)?(?:HOST_)?(?:CC|CXX)
 928                                 \s*=\s*$cc_regex_full
 929                                 # optional compiler options, don't allow
 930                                 # "everything" here to prevent false negatives
 931                                 \s*(?:\s-\S+)*\s*$}xo;
 932             # `moc-qt4`/`moc-qt5` contain '-I.../linux-g++' in their command
 933             # line (or similar for other architectures) which gets recognized
 934             # as a compiler line, but `moc-qt*` is only a preprocessor for Qt
 935             # C++ files. No hardening flags are relevant during this step,
 936             # thus ignore `moc-qt*` lines. The resulting files will be
 937             # compiled in a separate step (and therefore checked).
 938             next if $line =~ m{^\S+/bin/moc(?:-qt[45])?
 939                                \s.+\s
 940                                -I\S+/mkspecs/[a-z]+-g\++(?:-64)?
 941                                \s}x;
 942             # Ignore false positives when the line contains only CC=gcc but no
 943             # other gcc command.
 944             if ($line =~ /(.*)CC=$cc_regex_full(.*)/o) {
 945                 my $before = $1;
 946                 my $after  = $2;
 947                 next if     not $before =~ /$cc_regex_normal/o
 948                         and not $after  =~ /$cc_regex_normal/o;
 949             }
 950             # Ignore false positives caused by gcc -v. It outputs a line
 951             # looking like a normal compiler line but which is sometimes
 952             # missing hardening flags, although the normal compiler line
 953             # contains them.
 954             next if $line =~ m{^\s+/usr/lib/gcc/$cc_regex_full_prefix/
 955                                    [0-9.]+/cc1(?:plus)?}xo;
 956             # Ignore false positive with `rm` which may remove files which
 957             # look like a compiler executable thus causing the line to be
 958             # treated as a normal compiler line.
 959             next if $line =~ m{^\s*rm\s+};
 960
 961             # Check if additional hardening options were used. Used to ensure
 962             # they are used for the complete build.
 963             $harden_pie     = 1 if any_flags_used($line, @def_cflags_pie,
 964                                                          @def_ldflags_pie);
 965             $harden_bindnow = 1 if any_flags_used($line, @def_ldflags_bindnow);
 966
 967             push @input, $line;
 968             push @input_nonverbose, $non_verbose;
 969         }
 970     }
 971
 972     close $fh or die $!;
 973
 974     # Ignore arch if requested.
 975     if (scalar @option_ignore_arch > 0 and $arch) {
 976         foreach my $ignore (@option_ignore_arch) {
 977             if ($arch eq $ignore) {
 978                 print "ignoring architecture '$arch'\n";
 979                 next FILE;
 980             }
 981         }
 982     }
 983
 984     if (scalar @input == 0) {
 985         if (not $option_buildd) {
 986             print "No compiler commands!\n";
 987             $exit |= $exit_code{no_compiler_commands};
 988         } else {
 989             print "$buildd_tag{no_compiler_commands}||\n";
 990         }
 991         next FILE;
 992     }
 993
 994     if ($option_buildd) {
 995         $statistics{commands} += scalar @input;
 996     }
 997
 998     # Option or auto detected.
 999     if ($arch) {
1000         # The following was partially copied from dpkg-dev 1.18.7
1001         # (/usr/share/perl5/Dpkg/Vendor/Debian.pm, add_hardening_flags()),
1002         # copyright Raphaël Hertzog <hertzog@debian.org>, Kees Cook
1003         # <kees@debian.org>, Canonical, Ltd. licensed under GPL version 2 or
1004         # later. Keep it in sync.
1005
1006         require Dpkg::Arch;
1007         my ($abi, $os, $cpu) = Dpkg::Arch::debarch_to_debtriplet($arch);
1008
1009         # Disable unsupported hardening options.
1010         if ($os !~ /^(?:linux|knetbsd|hurd)$/ or $cpu =~ /^(?:hppa|avr32)$/) {
1011             $harden_pie = 0;
1012         }
1013         if ($cpu =~ /^(?:ia64|alpha|hppa|nios2)$/ or $arch eq 'arm') {
1014             $harden_stack = 0;
1015             $harden_stack_strong = 0;
1016         }
1017         if ($cpu =~ /^(?:ia64|hppa|avr32)$/) {
1018             $harden_relro   = 0;
1019             $harden_bindnow = 0;
1020         }
1021     }
1022
1023     # Default values.
1024     my @cflags   = @def_cflags;
1025     my @cxxflags = @def_cxxflags;
1026     my @cppflags = @def_cppflags;
1027     my @ldflags  = @def_ldflags;
1028     # Check the specified hardening options, same order as dpkg-buildflags.
1029     if ($harden_pie) {
1030         @cflags   = (@cflags,   @def_cflags_pie);
1031         @cxxflags = (@cxxflags, @def_cflags_pie);
1032         @ldflags  = (@ldflags,  @def_ldflags_pie);
1033     }
1034     if ($harden_stack_strong) {
1035         @cflags   = (@cflags,   @def_cflags_stack_strong);
1036         @cxxflags = (@cxxflags, @def_cflags_stack_strong);
1037     } elsif ($harden_stack) {
1038         @cflags   = (@cflags,   @def_cflags_stack);
1039         @cxxflags = (@cxxflags, @def_cflags_stack);
1040     }
1041     if ($harden_fortify) {
1042         @cflags   = (@cflags,   @def_cflags_fortify);
1043         @cxxflags = (@cxxflags, @def_cflags_fortify);
1044         @cppflags = (@cppflags, @def_cppflags_fortify);
1045     }
1046     if ($harden_format) {
1047         @cflags   = (@cflags,   @def_cflags_format);
1048         @cxxflags = (@cxxflags, @def_cflags_format);
1049     }
1050     if ($harden_relro) {
1051         @ldflags = (@ldflags, @def_ldflags_relro);
1052     }
1053     if ($harden_bindnow) {
1054         @ldflags = (@ldflags, @def_ldflags_bindnow);
1055     }
1056
1057     # Stores normal CFLAGS when @cflags_ada are temporarily used.
1058     my @cflags_backup;
1059     # Ada CFLAGS, only set if ada is used.
1060     my @cflags_ada;
1061     # Ada doesn't support format hardening flags, see #680117 for more
1062     # information. Filter them out if ada is used.
1063     if ($ada and $harden_format) {
1064         @cflags_ada = grep {
1065             my $ok = 1;
1066             foreach my $flag (@def_cflags_format) {
1067                 $ok = 0 if $_ eq $flag;
1068             }
1069             $ok;
1070         } @cflags;
1071     }
1072
1073     # Hack to fix cppflags_fortify_broken() if --ignore-flag
1074     # -D_FORTIFY_SOURCE=2 is used to ignore missing fortification. Only works
1075     # as long as @def_cppflags_fortify contains only one variable.
1076     if (scalar @def_cppflags_fortify == 0) {
1077         $harden_fortify = 0;
1078     }
1079
1080     # Ignore flags for this arch if requested.
1081     if ($arch and exists $option_ignore_arch_flag{$arch}) {
1082         my @local_flag_refs = (\@cflags, \@cxxflags, \@cppflags, \@ldflags);
1083
1084         remove_flags(\@local_flag_refs,
1085                      \%flag_renames,
1086                      @{$option_ignore_arch_flag{$arch}});
1087     }
1088
1089     my @ignore_line = @option_ignore_line;
1090     # Ignore lines for this arch if requested.
1091     if ($arch and exists $option_ignore_arch_line{$arch}) {
1092         @ignore_line = (@ignore_line, @{$option_ignore_arch_line{$arch}});
1093     }
1094
1095 LINE:
1096     for (my $i = 0; $i < scalar @input; $i++) {
1097         my $line = $input[$i];
1098
1099         # Ignore line if requested.
1100         foreach my $ignore (@ignore_line) {
1101             next LINE if $line =~ /$ignore/;
1102         }
1103
1104         my $skip = 0;
1105         if ($input_nonverbose[$i]
1106                 and is_non_verbose_build($line, $input[$i + 1], \$skip)) {
1107             if (not $option_buildd) {
1108                 error_non_verbose_build($line);
1109                 $exit |= $exit_code{non_verbose_build};
1110             } else {
1111                 $statistics{commands_nonverbose}++;
1112             }
1113             next;
1114         }
1115         # Even if it's a verbose build, we might have to skip this line (see
1116         # is_non_verbose_build()).
1117         next if $skip;
1118
1119         my $orig_line = $line;
1120
1121         # Remove everything until and including the compiler command. Makes
1122         # checks easier and faster.
1123         $line =~ s/^.*?$cc_regex//o;
1124         # "([...] test.c)" is not detected as 'test.c' - fix this by removing
1125         # the brace and similar characters at the line end.
1126         $line =~ s/['")]+$//;
1127
1128         # Skip unnecessary tests when only preprocessing.
1129         my $flag_preprocess = 0;
1130
1131         my $dependency = 0;
1132         my $preprocess = 0;
1133         my $compile    = 0;
1134         my $link       = 0;
1135
1136         # Preprocess, compile, assemble.
1137         if ($line =~ /\s(-E|-S|-c)\b/) {
1138             $preprocess      = 1;
1139             $flag_preprocess = 1 if $1 eq '-E';
1140             $compile         = 1 if $1 eq '-S' or $1 eq '-c';
1141         # Dependency generation for Makefiles. The other flags (-MF -MG -MP
1142         # -MT -MQ) are always used with -M/-MM.
1143         } elsif ($line =~ /\s(?:-M|-MM)\b/) {
1144             $dependency = 1;
1145         # Otherwise assume we are linking.
1146         } else {
1147             $link = 1;
1148         }
1149
1150         # -MD/-MMD also cause dependency generation, but they don't imply -E!
1151         if ($line =~ /\s(?:-MD|-MMD)\b/) {
1152             $dependency      = 0;
1153             $flag_preprocess = 0;
1154         }
1155
1156         # Dependency generation for Makefiles, no preprocessing or other flags
1157         # needed.
1158         next if $dependency;
1159
1160         # Get all file extensions on this line.
1161         my @extensions = $line =~ /$file_extension_regex/go;
1162         # Ignore all unknown extensions to speedup the search below.
1163         @extensions = grep { exists $extension{$_} } @extensions;
1164
1165         # These file types don't require preprocessing.
1166         if (extension_found(\%extensions_no_preprocess, @extensions)) {
1167             $preprocess = 0;
1168         }
1169         # These file types require preprocessing.
1170         if (extension_found(\%extensions_preprocess, @extensions)) {
1171             # Prevent false positives with "libtool: link: g++ -include test.h
1172             # .." compiler lines.
1173             if ($orig_line !~ /$libtool_link_regex/o) {
1174                 $preprocess = 1;
1175             }
1176         }
1177
1178         if (not $flag_preprocess) {
1179             # If there are source files then it's compiling/linking in one
1180             # step and we must check both. We only check for source files
1181             # here, because header files cause too many false positives.
1182             if (extension_found(\%extensions_compile_link, @extensions)) {
1183                 # Assembly files don't need CFLAGS.
1184                 if (not extension_found(\%extensions_compile, @extensions)
1185                         and extension_found(\%extensions_no_compile, @extensions)) {
1186                     $compile = 0;
1187                 # But the rest does.
1188                 } else {
1189                     $compile = 1;
1190                 }
1191             # No compilable extensions found, either linking or compiling
1192             # header flags.
1193             #
1194             # If there are also no object files we are just compiling headers
1195             # (.h -> .h.gch). Don't check for linker flags in this case. Due
1196             # to our liberal checks for compiler lines, this also reduces the
1197             # number of false positives considerably.
1198             } elsif ($link
1199                     and not extension_found(\%extensions_object, @extensions)) {
1200                 $link = 0;
1201             }
1202         }
1203
1204         my $compile_cpp = 0;
1205         my $compile_ada = 0;
1206         # Assume CXXFLAGS are required when a C++ file is specified in the
1207         # compiler line.
1208         if ($compile
1209                 and extension_found(\%extensions_compile_cpp, @extensions)) {
1210             $compile     = 0;
1211             $compile_cpp = 1;
1212         # Ada needs special CFLAGS, use them if only ada files are compiled.
1213         } elsif ($ada
1214                     and $compile
1215                     and array_equal(\@extensions,
1216                                     \@source_no_preprocess_compile_ada)) {
1217             $compile_ada = 1;
1218             @cflags_backup = @cflags;
1219             @cflags        = @cflags_ada;
1220         }
1221
1222         if ($option_buildd) {
1223             $statistics{preprocess}++  if $preprocess;
1224             $statistics{compile}++     if $compile;
1225             $statistics{compile_cpp}++ if $compile_cpp;
1226             $statistics{link}++        if $link;
1227         }
1228
1229         # Check if there are flags indicating a debug build. If that's true,
1230         # skip the check for -O2. This prevents fortification, but that's fine
1231         # for a debug build.
1232         if (any_flags_used($line, @def_cflags_debug)) {
1233             remove_flags([\@cflags], \%flag_renames, $def_cflags[1]);
1234             remove_flags([\@cppflags], \%flag_renames, $def_cppflags_fortify[0]);
1235         }
1236
1237         # Check hardening flags.
1238         my @missing;
1239         if ($compile and not all_flags_used($line, \@missing, @cflags)
1240                 # Libraries linked with -fPIC don't have to (and can't) be
1241                 # linked with -fPIE as well. It's no error if only PIE flags
1242                 # are missing.
1243                 and not pic_pie_conflict($line, $harden_pie, \@missing, @def_cflags_pie)
1244                 # Assume dpkg-buildflags returns the correct flags.
1245                 and index($line, '`dpkg-buildflags --get CFLAGS`') == -1) {
1246             if (not $option_buildd) {
1247                 error_flags('CFLAGS missing', \@missing, \%flag_renames, $input[$i]);
1248                 $exit |= $exit_code{flags_missing};
1249             } else {
1250                 $statistics{compile_missing}++;
1251             }
1252         } elsif ($compile_cpp and not all_flags_used($line, \@missing, @cflags)
1253                 # Libraries linked with -fPIC don't have to (and can't) be
1254                 # linked with -fPIE as well. It's no error if only PIE flags
1255                 # are missing.
1256                 and not pic_pie_conflict($line, $harden_pie, \@missing, @def_cflags_pie)
1257                 # Assume dpkg-buildflags returns the correct flags.
1258                 and index($line, '`dpkg-buildflags --get CXXFLAGS`') == -1) {
1259             if (not $option_buildd) {
1260                 error_flags('CXXFLAGS missing', \@missing, \%flag_renames, $input[$i]);
1261                 $exit |= $exit_code{flags_missing};
1262             } else {
1263                 $statistics{compile_cpp_missing}++;
1264             }
1265         }
1266         if ($preprocess
1267                 and (not all_flags_used($line, \@missing, @cppflags)
1268                     # The fortify flag might be overwritten, detect that.
1269                      or ($harden_fortify
1270                          and cppflags_fortify_broken($line, \@missing)))
1271                 # Assume dpkg-buildflags returns the correct flags.
1272                 and index($line, '`dpkg-buildflags --get CPPFLAGS`') == -1) {
1273             if (not $option_buildd) {
1274                 error_flags('CPPFLAGS missing', \@missing, \%flag_renames, $input[$i]);
1275                 $exit |= $exit_code{flags_missing};
1276             } else {
1277                 $statistics{preprocess_missing}++;
1278             }
1279         }
1280         if ($link and not all_flags_used($line, \@missing, @ldflags)
1281                 # Same here, -fPIC conflicts with -fPIE.
1282                 and not pic_pie_conflict($line, $harden_pie, \@missing, @def_ldflags_pie)
1283                 # Assume dpkg-buildflags returns the correct flags.
1284                 and index($line, '`dpkg-buildflags --get LDFLAGS`') == -1) {
1285             if (not $option_buildd) {
1286                 error_flags('LDFLAGS missing', \@missing, \%flag_renames, $input[$i]);
1287                 $exit |= $exit_code{flags_missing};
1288             } else {
1289                 $statistics{link_missing}++;
1290             }
1291         }
1292
1293         # Restore normal CFLAGS.
1294         if ($compile_ada) {
1295             @cflags = @cflags_backup;
1296         }
1297     }
1298 }
1299
1300 # Print statistics for buildd mode, only output in this mode.
1301 if ($option_buildd) {
1302     my @warning;
1303
1304     if ($statistics{preprocess_missing}) {
1305         push @warning, sprintf 'CPPFLAGS %d (of %d)',
1306                                $statistics{preprocess_missing},
1307                                $statistics{preprocess};
1308     }
1309     if ($statistics{compile_missing}) {
1310         push @warning, sprintf 'CFLAGS %d (of %d)',
1311                                $statistics{compile_missing},
1312                                $statistics{compile};
1313     }
1314     if ($statistics{compile_cpp_missing}) {
1315         push @warning, sprintf 'CXXFLAGS %d (of %d)',
1316                                $statistics{compile_cpp_missing},
1317                                $statistics{compile_cpp};
1318     }
1319     if ($statistics{link_missing}) {
1320         push @warning, sprintf 'LDFLAGS %d (of %d)',
1321                                $statistics{link_missing},
1322                                $statistics{link};
1323     }
1324     if (scalar @warning) {
1325         local $" = ', '; # array join string
1326         print "$buildd_tag{flags_missing}|@warning missing|\n";
1327     }
1328
1329     if ($statistics{commands_nonverbose}) {
1330         printf "$buildd_tag{non_verbose_build}|%d (of %d) hidden|\n",
1331                $statistics{commands_nonverbose},
1332                $statistics{commands},
1333     }
1334 }
1335
1336
1337 exit $exit;
1338
1339
1340 __END__
1341
1342 =head1 NAME
1343
1344 blhc - build log hardening check, checks build logs for missing hardening flags
1345
1346 =head1 SYNOPSIS
1347
1348 B<blhc> [I<options>] I<< <dpkg-buildpackage build log file>.. >>
1349
1350 =head1 DESCRIPTION
1351
1352 blhc is a small tool which checks build logs for missing hardening flags. It's
1353 licensed under the GPL 3 or later.
1354
1355 It's designed to check build logs generated by Debian's dpkg-buildpackage (or
1356 tools using dpkg-buildpackage like pbuilder or sbuild (which is used for the
1357 official buildd build logs)) to help maintainers detect missing hardening
1358 flags in their packages.
1359
1360 Only gcc is detected as compiler at the moment. If other compilers support
1361 hardening flags as well, please report them.
1362
1363 If there's no output, no flags are missing and the build log is fine.
1364
1365 See F<README> for details about performed checks, auto-detection and
1366 limitations.
1367
1368 =head1 OPTIONS
1369
1370 =over 8
1371
1372 =item B<--all>
1373
1374 Force check for all +all (+pie, +bindnow) hardening flags. By default it's
1375 auto detected.
1376
1377 =item B<--arch> I<architecture>
1378
1379 Set the specific architecture (e.g. amd64, armel, etc.), automatically
1380 disables hardening flags not available on this architecture. Is detected
1381 automatically if dpkg-buildpackage is used.
1382
1383 =item B<--bindnow>
1384
1385 Force check for all +bindnow hardening flags. By default it's auto detected.
1386
1387 =item B<--buildd>
1388
1389 Special mode for buildds when automatically parsing log files. The following
1390 changes are in effect:
1391
1392 =over 2
1393
1394 =item *
1395
1396 Print tags instead of normal warnings, see L</"BUILDD TAGS"> for a list of
1397 possible tags.
1398
1399 =item *
1400
1401 Don't check hardening flags in old log files (if dpkg-dev << 1.16.1 is
1402 detected).
1403
1404 =item *
1405
1406 Don't require Term::ANSIColor.
1407
1408 =item *
1409
1410 Return exit code 0, unless there was a error (-I, -W messages don't count as
1411 error).
1412
1413 =back
1414
1415 =item B<--color>
1416
1417 Use colored (ANSI) output for warning messages.
1418
1419 =item B<--ignore-arch> I<arch>
1420
1421 Ignore build logs from architectures matching I<arch>. I<arch> is a string.
1422
1423 Used to prevent false positives. This option can be specified multiple times.
1424
1425 =item B<--ignore-arch-flag> I<arch>:I<flag>
1426
1427 Like B<--ignore-flag>, but only ignore flag on I<arch>.
1428
1429 =item B<--ignore-arch-line> I<arch>:I<line>
1430
1431 Like B<--ignore-line>, but only ignore line on I<arch>.
1432
1433 =item B<--ignore-flag> I<flag>
1434
1435 Don't print an error when the specific flag is missing in a compiler line.
1436 I<flag> is a string.
1437
1438 Used to prevent false positives. This option can be specified multiple times.
1439
1440 =item B<--ignore-line> I<regex>
1441
1442 Ignore lines matching the given Perl regex. I<regex> is automatically anchored
1443 at the beginning and end of the line to prevent false negatives.
1444
1445 B<NOTE>: Not the input lines are checked, but the lines which are displayed in
1446 warnings (which have line continuation resolved).
1447
1448 Used to prevent false positives. This option can be specified multiple times.
1449
1450 =item B<--pie>
1451
1452 Force check for all +pie hardening flags. By default it's auto detected.
1453
1454 =item B<-h -? --help>
1455
1456 Print available options.
1457
1458 =item B<--version>
1459
1460 Print version number and license.
1461
1462 =back
1463
1464 Auto detection for B<--pie> and B<--bindnow> only works if at least one
1465 command uses the required hardening flag (e.g. -fPIE). Then it's required for
1466 all other commands as well.
1467
1468 =head1 EXAMPLES
1469
1470 Normal usage, parse a single log file.
1471
1472     blhc path/to/log/file
1473
1474 If there's no output, no flags are missing and the build log is fine.
1475
1476 Parse multiple log files. The exit code is ORed over all files.
1477
1478     blhc path/to/directory/with/log/files/*
1479
1480 Don't treat missing C<-g> as error:
1481
1482     blhc --ignore-flag -g path/to/log/file
1483
1484 Don't treat missing C<-pie> on kfreebsd-amd64 as error:
1485
1486     blhc --ignore-arch-flag kfreebsd-amd64:-pie path/to/log/file
1487
1488 Ignore lines consisting exactly of C<./script gcc file> which would cause a
1489 false positive.
1490
1491     blhc --ignore-line '\./script gcc file' path/to/log/file
1492
1493 Ignore lines matching C<./script gcc file> somewhere in the line.
1494
1495     blhc --ignore-line '.*\./script gcc file.*' path/to/log/file
1496
1497 Use blhc with pbuilder.
1498
1499     pbuilder path/to/package.dsc | tee path/log/file
1500     blhc path/to/file || echo flags missing
1501
1502 =head1 BUILDD TAGS
1503
1504 The following tags are used in I<--buildd> mode. In braces the additional data
1505 which is displayed.
1506
1507 =over 2
1508
1509 =item B<I-hardening-wrapper-used>
1510
1511 The package uses hardening-wrapper which intercepts calls to gcc and adds
1512 hardening flags. The build log doesn't contain any hardening flags and thus
1513 can't be checked by blhc.
1514
1515 =item B<W-compiler-flags-hidden> (summary of hidden lines)
1516
1517 Build log contains lines which hide the real compiler flags. For example:
1518
1519     CC test-a.c
1520     CC test-b.c
1521     CC test-c.c
1522     LD test
1523
1524 Most of the time either C<export V=1> or C<export verbose=1> in
1525 F<debian/rules> fixes builds with hidden compiler flags. Sometimes C<.SILENT>
1526 in a F<Makefile> must be removed. And as last resort the F<Makefile> must be
1527 patched to remove the C<@>s hiding the real compiler commands.
1528
1529 =item B<W-dpkg-buildflags-missing> (summary of missing flags)
1530
1531 CPPFLAGS, CFLAGS, CXXFLAGS, LDFLAGS missing.
1532
1533 =item B<I-invalid-cmake-used> (version)
1534
1535 By default CMake ignores CPPFLAGS thus missing those hardening flags. Debian
1536 patched CMake in versions 2.8.7-1 and 2.8.7-2 to respect CPPFLAGS, but this
1537 patch was rejected by upstream and later reverted in Debian. Thus those two
1538 versions show correct usage of CPPFLAGS even if the package doesn't correctly
1539 handle them (for example by passing them to CFLAGS). To prevent false
1540 negatives just blacklist those two versions.
1541
1542 =item B<I-no-compiler-commands>
1543
1544 No compiler commands were detected. Either the log contains none or they were
1545 not correctly detected by blhc (please report the bug in this case).
1546
1547 =back
1548
1549 =head1 EXIT STATUS
1550
1551 The exit status is a "bit mask", each listed status is ORed when the error
1552 condition occurs to get the result.
1553
1554 =over 4
1555
1556 =item B<0>
1557
1558 Success.
1559
1560 =item B<1>
1561
1562 No compiler commands were found.
1563
1564 =item B<2>
1565
1566 Invalid arguments/options given to blhc.
1567
1568 =item B<4>
1569
1570 Non verbose build.
1571
1572 =item B<8>
1573
1574 Missing hardening flags.
1575
1576 =item B<16>
1577
1578 Hardening wrapper detected, no tests performed.
1579
1580 =item B<32>
1581
1582 Invalid CMake version used. See B<I-invalid-cmake-used> under L</"BUILDD
1583 TAGS"> for a detailed explanation.
1584
1585 =back
1586
1587 =head1 AUTHOR
1588
1589 Simon Ruderich, E<lt>simon@ruderich.orgE<gt>
1590
1591 Thanks to to Bernhard R. Link E<lt>brlink@debian.orgE<gt> and Jaria Alto
1592 E<lt>jari.aalto@cante.netE<gt> for their valuable input and suggestions.
1593
1594 =head1 LICENSE AND COPYRIGHT
1595
1596 Copyright (C) 2012-2016 by Simon Ruderich
1597
1598 This program is free software: you can redistribute it and/or modify
1599 it under the terms of the GNU General Public License as published by
1600 the Free Software Foundation, either version 3 of the License, or
1601 (at your option) any later version.
1602
1603 This program is distributed in the hope that it will be useful,
1604 but WITHOUT ANY WARRANTY; without even the implied warranty of
1605 MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
1606 GNU General Public License for more details.
1607
1608 You should have received a copy of the GNU General Public License
1609 along with this program.  If not, see <http://www.gnu.org/licenses/>.
1610
1611 =head1 SEE ALSO
1612
1613 L<hardening-check(1)>, L<dpkg-buildflags(1)>
1614
1615 =cut