bin/blhc

   1 #!/usr/bin/perl
   2
   3 # Build log hardening check, checks build logs for missing hardening flags.
   4
   5 # Copyright (C) 2012-2016  Simon Ruderich
   6 #
   7 # This program is free software: you can redistribute it and/or modify
   8 # it under the terms of the GNU General Public License as published by
   9 # the Free Software Foundation, either version 3 of the License, or
  10 # (at your option) any later version.
  11 #
  12 # This program is distributed in the hope that it will be useful,
  13 # but WITHOUT ANY WARRANTY; without even the implied warranty of
  14 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  15 # GNU General Public License for more details.
  16 #
  17 # You should have received a copy of the GNU General Public License
  18 # along with this program.  If not, see <http://www.gnu.org/licenses/>.
  19
  20
  21 use strict;
  22 use warnings;
  23
  24 use Getopt::Long ();
  25 use Text::ParseWords ();
  26
  27 our $VERSION = '0.06';
  28
  29
  30 # CONSTANTS/VARIABLES
  31
  32 # Regex to catch compiler commands.
  33 my $cc_regex = qr/
  34     (?<!\s-)               # ignore options, e.g. "-c++" [sic!] (used by swig)
  35     (?<!\.)                # ignore file names, e.g. "test.gcc"
  36     (?:cc|gcc|g\+\+|c\+\+)
  37     (?:-[\d.]+)?           # version suffix, e.g. "gcc-4.6"
  38     /x;
  39 # Full regex which matches the complete compiler name. Used in a few places to
  40 # prevent false negatives.
  41 my $cc_regex_full_prefix = qr/
  42     [a-z0-9_]+-(?:linux-|kfreebsd-)?gnu(?:eabi|eabihf)?
  43     /x;
  44 my $cc_regex_full = qr/
  45     (?:$cc_regex_full_prefix-)?
  46     $cc_regex
  47     /x;
  48 # Regex to check if a line contains a compiler command.
  49 my $cc_regex_normal = qr/
  50     \b$cc_regex(?:\s|\\)
  51     /x;
  52 # Regex to catch (GCC) compiler warnings.
  53 my $warning_regex = qr/^(.+?):(\d+):\d+: warning: (.+?) \[(.+?)\]$/;
  54 # Regex to catch libtool commands and not lines which show commands executed
  55 # by libtool (e.g. libtool: link: ...).
  56 my $libtool_regex = qr/\blibtool\s.*--mode=/;
  57 my $libtool_link_regex = qr/\blibtool: link: /;
  58
  59 # List of source file extensions which require preprocessing.
  60 my @source_preprocess_compile_cpp = (
  61     # C++
  62     qw( cc cp cxx cpp CPP c++ C ),
  63     # Objective-C++
  64     qw( mm M ),
  65 );
  66 my @source_preprocess_compile = (
  67     # C
  68     qw( c ),
  69     # Objective-C
  70     qw( m ),
  71     # (Objective-)C++
  72     @source_preprocess_compile_cpp,
  73     # Fortran
  74     qw( F FOR fpp FPP FTN F90 F95 F03 F08 ),
  75 );
  76 my @source_preprocess_no_compile = (
  77     # Assembly
  78     qw( S sx ),
  79 );
  80 my @source_preprocess = (
  81     @source_preprocess_compile,
  82     @source_preprocess_no_compile,
  83 );
  84 # List of source file extensions which don't require preprocessing.
  85 my @source_no_preprocess_compile_cpp = (
  86     # C++
  87     qw( ii ),
  88     # Objective-C++
  89     qw( mii ),
  90 );
  91 my @source_no_preprocess_compile_ada = (
  92     # Ada body
  93     qw( adb ),
  94     # If you add another file, fix use of @source_no_preprocess_compile_ada
  95     # below (search for $compile_ada).
  96 );
  97 my @source_no_preprocess_compile = (
  98     # C
  99     qw( i ),
 100     # (Objective-)C++
 101     @source_no_preprocess_compile_cpp,
 102     # Objective-C
 103     qw( mi ),
 104     # Fortran
 105     qw( f for ftn f90 f95 f03 f08 ),
 106     # Ada
 107     @source_no_preprocess_compile_ada,
 108 );
 109 my @source_no_preprocess_no_compile = (
 110     # Assembly
 111     qw( s ),
 112     # Ada specification
 113     qw( ads ),
 114 );
 115 my @source_no_preprocess = (
 116     @source_no_preprocess_compile,
 117     @source_no_preprocess_no_compile,
 118 );
 119 # List of header file extensions which require preprocessing.
 120 my @header_preprocess = (
 121     # C, C++, Objective-C, Objective-C++
 122     qw( h ),
 123     # C++
 124     qw( hh H hp hxx hpp HPP h++ tcc ),
 125 );
 126 # Object files.
 127 my @object = (
 128     # Normal object files.
 129     qw ( o ),
 130     # Libtool object files.
 131     qw ( lo la ),
 132     # Dynamic libraries. bzip2 uses .sho.
 133     qw ( so sho ),
 134     # Static libraries.
 135     qw ( a ),
 136 );
 137
 138 # Hashes for fast extensions lookup to check if a file falls in one of these
 139 # categories.
 140 my %extensions_no_preprocess = map { $_ => 1 } (
 141     # There's no @header_no_preprocess.
 142     @source_no_preprocess,
 143 );
 144 my %extensions_preprocess = map { $_ => 1 } (
 145     @header_preprocess,
 146     @source_preprocess,
 147 );
 148 my %extensions_compile_link = map { $_ => 1 } (
 149     @source_preprocess,
 150     @source_no_preprocess,
 151 );
 152 my %extensions_compile = map { $_ => 1 } (
 153     @source_preprocess_compile,
 154     @source_no_preprocess_compile,
 155 );
 156 my %extensions_no_compile = map { $_ => 1 } (
 157     @source_preprocess_no_compile,
 158     @source_no_preprocess_no_compile,
 159 );
 160 my %extensions_compile_cpp = map { $_ => 1 } (
 161     @source_preprocess_compile_cpp,
 162     @source_no_preprocess_compile_cpp,
 163 );
 164 my %extensions_object = map { $_ => 1 } (
 165     @object,
 166 );
 167 my %extension = map { $_ => 1 } (
 168     @source_no_preprocess,
 169     @header_preprocess,
 170     @source_preprocess,
 171     @object,
 172 );
 173
 174 # Regexp to match file extensions.
 175 my $file_extension_regex = qr/
 176     \s
 177     \S+             # Filename without extension.
 178     \.
 179     ([^\/\\.,;:\s]+)# File extension.
 180     (?=\s|\\)       # At end of word. Can't use \b because some files have non
 181                     # word characters at the end and because \b matches double
 182                     # extensions (like .cpp.o). Works always as all lines are
 183                     # terminated with "\n".
 184     /x;
 185
 186 # Expected (hardening) flags. All flags are used as regexps (and compiled to
 187 # real regexps below for better execution speed).
 188 my @def_cflags = (
 189     '-g',
 190     '-O(?:2|3)', # keep at index 1, search for @def_cflags_debug to change it
 191 );
 192 my @def_cflags_debug = (
 193     # These flags indicate a debug build which disables checks for -O2.
 194     '-O0',
 195     '-Og',
 196 );
 197 my @def_cflags_format = (
 198     '-Wformat(?:=2)?', # -Wformat=2 implies -Wformat, accept it too
 199     '-Werror=format-security', # implies -Wformat-security
 200 );
 201 my @def_cflags_fortify = (
 202     # fortify needs at least -O1, but -O2 is recommended anyway
 203 );
 204 my @def_cflags_stack = (
 205     '-fstack-protector',
 206     '--param[= ]ssp-buffer-size=4',
 207 );
 208 my @def_cflags_stack_strong = (
 209     '-fstack-protector-strong',
 210 );
 211 my @def_cflags_pie = (
 212     '-fPIE',
 213 );
 214 my @def_cxxflags = (
 215     @def_cflags,
 216 );
 217 # @def_cxxflags_* is the same as @def_cflags_*.
 218 my @def_cppflags = ();
 219 my @def_cppflags_fortify = (
 220     '-D_FORTIFY_SOURCE=2', # must be first, see cppflags_fortify_broken()
 221     # If you add another flag fix hack below (search for "Hack to fix") and
 222     # $def_cppflags_fortify[0].
 223 );
 224 my @def_cppflags_fortify_bad = (
 225     # These flags may overwrite -D_FORTIFY_SOURCE=2.
 226     '-U_FORTIFY_SOURCE',
 227     '-D_FORTIFY_SOURCE=0',
 228     '-D_FORTIFY_SOURCE=1',
 229 );
 230 my @def_ldflags = ();
 231 my @def_ldflags_relro = (
 232     '-Wl,(?:-z,)?relro',
 233 );
 234 my @def_ldflags_bindnow = (
 235     '-Wl,(?:-z,)?now',
 236 );
 237 my @def_ldflags_pie = (
 238     '-fPIE',
 239     '-pie',
 240 );
 241 my @def_ldflags_pic = (
 242     '-fPIC',
 243     '-fpic',
 244     '-shared',
 245 );
 246 # References to all flags checked by the flag checker.
 247 my @flag_refs = (
 248     \@def_cflags,
 249     \@def_cflags_format,
 250     \@def_cflags_fortify,
 251     \@def_cflags_stack,
 252     \@def_cflags_stack_strong,
 253     \@def_cflags_pie,
 254     \@def_cxxflags,
 255     \@def_cppflags,
 256     \@def_cppflags_fortify,
 257     \@def_ldflags,
 258     \@def_ldflags_relro,
 259     \@def_ldflags_bindnow,
 260     \@def_ldflags_pie,
 261 );
 262 # References to all used flags.
 263 my @flag_refs_all = (
 264     @flag_refs,
 265     \@def_cflags_debug,
 266     \@def_cppflags_fortify_bad,
 267     \@def_ldflags_pic,
 268 );
 269 # Renaming rules for the output so the regex parts are not visible. Also
 270 # stores string values of flag regexps above, see compile_flag_regexp().
 271 my %flag_renames = (
 272     '-O(?:2|3)'                    => '-O2',
 273     '-Wformat(?:=2)?'              => '-Wformat',
 274     '--param[= ]ssp-buffer-size=4' => '--param=ssp-buffer-size=4',
 275     '-Wl,(?:-z,)?relro'            => '-Wl,-z,relro',
 276     '-Wl,(?:-z,)?now'              => '-Wl,-z,now',
 277 );
 278
 279 my %exit_code = (
 280     no_compiler_commands => 1 << 0,
 281     # used by POD::Usage => 1 << 1,
 282     non_verbose_build    => 1 << 2,
 283     flags_missing        => 1 << 3,
 284     hardening_wrapper    => 1 << 4,
 285     invalid_cmake        => 1 << 5,
 286 );
 287
 288 my %buildd_tag = (
 289     no_compiler_commands => 'I-no-compiler-commands',
 290     non_verbose_build    => 'W-compiler-flags-hidden',
 291     flags_missing        => 'W-dpkg-buildflags-missing',
 292     hardening_wrapper    => 'I-hardening-wrapper-used',
 293     invalid_cmake        => 'I-invalid-cmake-used',
 294 );
 295
 296 # Statistics of missing flags and non-verbose build commands. Used for
 297 # $option_buildd.
 298 my %statistics = (
 299     preprocess          => 0,
 300     preprocess_missing  => 0,
 301     compile             => 0,
 302     compile_missing     => 0,
 303     compile_cpp         => 0,
 304     compile_cpp_missing => 0,
 305     link                => 0,
 306     link_missing        => 0,
 307     commands            => 0,
 308     commands_nonverbose => 0,
 309 );
 310
 311 # Use colored (ANSI) output?
 312 my $option_color;
 313
 314
 315 # FUNCTIONS
 316
 317 # Only works for single-level arrays with no undef values. Thanks to perlfaq4.
 318 sub array_equal {
 319     my ($first_ref, $second_ref) = @_;
 320
 321     return 0 if scalar @{$first_ref} != scalar @{$second_ref};
 322
 323     my $length = scalar @{$first_ref};
 324     for (my $i = 0; $i < $length; $i++) {
 325         return 0 if $first_ref->[$i] ne $second_ref->[$i];
 326     }
 327
 328     return 1;
 329 }
 330
 331 sub error_flags {
 332     my ($message, $missing_flags_ref, $flag_renames_ref, $line) = @_;
 333
 334     # Get string value of qr//-escaped regexps and if requested rename them.
 335     my @missing_flags = map {
 336             $flag_renames_ref->{$_}
 337         } @{$missing_flags_ref};
 338
 339     my $flags = join ' ', @missing_flags;
 340     printf '%s (%s)%s %s',
 341            error_color($message, 'red'), $flags, error_color(':', 'yellow'),
 342            $line;
 343
 344     return;
 345 }
 346 sub error_non_verbose_build {
 347     my ($line) = @_;
 348
 349     printf '%s%s %s',
 350            error_color('NONVERBOSE BUILD', 'red'),
 351            error_color(':', 'yellow'),
 352            $line;
 353
 354     return;
 355 }
 356 sub error_invalid_cmake {
 357     my ($version) = @_;
 358
 359     printf "%s%s %s\n",
 360             error_color('INVALID CMAKE', 'red'),
 361             error_color(':', 'yellow'),
 362             $version;
 363
 364     return;
 365 }
 366 sub error_hardening_wrapper {
 367     printf "%s%s %s\n",
 368             error_color('HARDENING WRAPPER', 'red'),
 369             error_color(':', 'yellow'),
 370             'no checks possible, aborting';
 371
 372     return;
 373 }
 374 sub error_color {
 375     my ($message, $color) = @_;
 376
 377     if ($option_color) {
 378         return Term::ANSIColor::colored($message, $color);
 379     } else {
 380         return $message;
 381     }
 382 }
 383
 384 sub any_flags_used {
 385     my ($line, @flags) = @_;
 386
 387     foreach my $flag (@flags) {
 388         return 1 if $line =~ /$flag/;
 389     }
 390
 391     return 0;
 392 }
 393 sub all_flags_used {
 394     my ($line, $missing_flags_ref, @flags) = @_;
 395
 396     my @missing_flags = ();
 397     foreach my $flag (@flags) {
 398         if (not $line =~ /$flag/) {
 399             push @missing_flags, $flag;
 400         }
 401     }
 402
 403     return 1 if scalar @missing_flags == 0;
 404
 405     @{$missing_flags_ref} = @missing_flags;
 406     return 0;
 407 }
 408
 409 sub cppflags_fortify_broken {
 410     my ($line, $missing_flags) = @_;
 411
 412     # This doesn't take the position into account, but is a simple solution.
 413     # And if the build system tries to force -D_FORTIFY_SOURCE=0/1, something
 414     # is wrong anyway.
 415
 416     if (any_flags_used($line, @def_cppflags_fortify_bad)) {
 417         # $def_cppflags_fortify[0] must be -D_FORTIFY_SOURCE=2!
 418         push @{$missing_flags}, $def_cppflags_fortify[0];
 419         return 1;
 420     }
 421
 422     return 0;
 423 }
 424
 425 # Modifies $missing_flags_ref array.
 426 sub pic_pie_conflict {
 427     my ($line, $pie, $missing_flags_ref, @flags_pie) = @_;
 428
 429     return 0 if not $pie;
 430     return 0 if not any_flags_used($line, @def_ldflags_pic);
 431
 432     my %flags = map { $_ => 1 } @flags_pie;
 433
 434     # Remove all PIE flags from @missing_flags as they are not required with
 435     # -fPIC.
 436     my @result = grep {
 437         not exists $flags{$_}
 438     } @{$missing_flags_ref};
 439     @{$missing_flags_ref} = @result;
 440
 441     # We got a conflict when no flags are left, thus only PIE flags were
 442     # missing. If other flags were missing abort because the conflict is not
 443     # the problem.
 444     return scalar @result == 0;
 445 }
 446
 447 sub is_non_verbose_build {
 448     my ($line, $skip_ref, $input_ref, $line_offset, $line_count) = @_;
 449
 450     if ($line =~ /$libtool_regex/o) {
 451         # libtool's --silent hides the real compiler flags.
 452         if ($line =~ /\s--silent/) {
 453             return 1;
 454         # If --silent is not present, skip this line as some compiler flags
 455         # might be missing (e.g. -fPIE) which are handled correctly by libtool
 456         # internally. libtool displays the real compiler command on the next
 457         # line, so the flags are checked as usual.
 458         } else {
 459             ${$skip_ref} = 1;
 460             return 0;
 461         }
 462     }
 463
 464     if (not (index($line, 'checking if you want to see long compiling messages... no') == 0
 465                 or $line =~ /^\s*\[?(?:CC|CCLD|C\+\+|CXX|CXXLD|LD|LINK)\]?\s+(.+?)$/
 466                 or $line =~ /^\s*[Cc]ompiling\s+(.+?)(?:\.\.\.)?$/
 467                 or $line =~ /^\s*[Bb]uilding (?:program|shared library)\s+(.+?)$/
 468                 or $line =~ /^\s*\[[\d ]+%\] Building (?:C|CXX) object (.+?)$/)) {
 469         return 0;
 470     }
 471
 472     # False positives.
 473     #
 474     # C++ compiler setting.
 475     return 0 if $line =~ /^\s*C\+\+.+?:\s+(?:yes|no)\s*$/;
 476     return 0 if $line =~ /^\s*C\+\+ Library: stdc\+\+$/;
 477     # "Compiling" non binary files.
 478     return 0 if $line =~ /^\s*Compiling \S+\.(?:py|el)['"]?\s*(?:\.\.\.)?$/;
 479     # "Compiling" with no file name.
 480     if ($line =~ /^\s*[Cc]ompiling\s+(.+?)(?:\.\.\.)?$/) {
 481         # $file_extension_regex may need spaces around the filename.
 482         return 0 if not " $1 " =~ /$file_extension_regex/o;
 483     }
 484
 485     my $file = $1;
 486
 487     # On the first pass we only check if this line is verbose or not.
 488     return 1 if not defined $input_ref;
 489
 490     # Second pass, we have access to the next lines.
 491     ${$skip_ref} = 0;
 492
 493     # CMake and other build systems print the non-verbose messages also when
 494     # building verbose. If a compiler and the file name occurs in the next
 495     # lines, treat it as verbose build.
 496     if (defined $file) {
 497         # Get filename, we can't use the complete path as only parts of it are
 498         # used in the real compiler command.
 499         $file =~ m{/([^/\s]+)$};
 500         $file = $1;
 501
 502         for (my $i = 1; $i <= $line_count; $i++) {
 503             my $next_line = $input_ref->[$line_offset + $i];
 504             last unless defined $next_line;
 505
 506             if (index($next_line, $file) != -1 and $next_line =~ /$cc_regex/o) {
 507                 # Not a non-verbose line, but we still have to skip the
 508                 # current line as it doesn't contain any compiler commands.
 509                 ${$skip_ref} = 1;
 510                 return 0;
 511             }
 512         }
 513     }
 514
 515     return 1;
 516 }
 517
 518 # Remove @flags from $flag_refs_ref, uses $flag_renames_ref as reference.
 519 sub remove_flags {
 520     my ($flag_refs_ref, $flag_renames_ref, @flags) = @_;
 521
 522     my %removes = map { $_ => 1 } @flags;
 523     foreach my $flags (@{$flag_refs_ref}) {
 524         @{$flags} = grep {
 525             # Flag found as string.
 526             not exists $removes{$_}
 527             # Flag found as string representation of regexp.
 528                 and (not defined $flag_renames_ref->{$_}
 529                         or not exists $removes{$flag_renames_ref->{$_}})
 530         } @{$flags};
 531     }
 532
 533     return;
 534 }
 535
 536 # Modifies $flag_renames_ref hash.
 537 sub compile_flag_regexp {
 538     my ($flag_renames_ref, @flags) = @_;
 539
 540     my @result = ();
 541     foreach my $flag (@flags) {
 542         # Compile flag regexp for faster execution.
 543         my $regex = qr/\s$flag(?:\s|\\)/;
 544
 545         # Store flag name in replacement string for correct flags in messages
 546         # with qr//ed flag regexps.
 547         $flag_renames_ref->{$regex}
 548             = (exists $flag_renames_ref->{$flag})
 549                 ? $flag_renames_ref->{$flag}
 550                 : $flag;
 551
 552         push @result, $regex;
 553     }
 554     return @result;
 555 }
 556
 557 # Does any extension in @extensions exist in %{$extensions_ref}?
 558 sub extension_found {
 559     my ($extensions_ref, @extensions) = @_;
 560
 561     foreach my $extension (@extensions) {
 562         if (exists $extensions_ref->{$extension}) {
 563             return 1;
 564         }
 565     }
 566     return 0;
 567 }
 568
 569
 570 # MAIN
 571
 572 # Parse command line arguments.
 573 my $option_help             = 0;
 574 my $option_version          = 0;
 575 my $option_pie              = 0;
 576 my $option_bindnow          = 0;
 577 my @option_ignore_arch      = ();
 578 my @option_ignore_flag      = ();
 579 my @option_ignore_arch_flag = ();
 580 my @option_ignore_line      = ();
 581 my @option_ignore_arch_line = ();
 582 my $option_all              = 0;
 583 my $option_arch             = undef;
 584 my $option_buildd           = 0;
 585    $option_color            = 0;
 586 if (not Getopt::Long::GetOptions(
 587             'help|h|?'           => \$option_help,
 588             'version'            => \$option_version,
 589             # Hardening options.
 590             'pie'                => \$option_pie,
 591             'bindnow'            => \$option_bindnow,
 592             'all'                => \$option_all,
 593             # Ignore.
 594             'ignore-arch=s'      => \@option_ignore_arch,
 595             'ignore-flag=s'      => \@option_ignore_flag,
 596             'ignore-arch-flag=s' => \@option_ignore_arch_flag,
 597             'ignore-line=s'      => \@option_ignore_line,
 598             'ignore-arch-line=s' => \@option_ignore_arch_line,
 599             # Misc.
 600             'color'              => \$option_color,
 601             'arch=s'             => \$option_arch,
 602             'buildd'             => \$option_buildd,
 603         )) {
 604     require Pod::Usage;
 605     Pod::Usage::pod2usage(2);
 606 }
 607 if ($option_help) {
 608     require Pod::Usage;
 609     Pod::Usage::pod2usage(1);
 610 }
 611 if ($option_version) {
 612     print <<"EOF";
 613 blhc $VERSION  Copyright (C) 2012-2016  Simon Ruderich
 614
 615 This program is free software: you can redistribute it and/or modify
 616 it under the terms of the GNU General Public License as published by
 617 the Free Software Foundation, either version 3 of the License, or
 618 (at your option) any later version.
 619
 620 This program is distributed in the hope that it will be useful,
 621 but WITHOUT ANY WARRANTY; without even the implied warranty of
 622 MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 623 GNU General Public License for more details.
 624
 625 You should have received a copy of the GNU General Public License
 626 along with this program.  If not, see <http://www.gnu.org/licenses/>.
 627 EOF
 628     exit 0;
 629 }
 630
 631 # Arguments missing.
 632 if (scalar @ARGV == 0) {
 633     require Pod::Usage;
 634     Pod::Usage::pod2usage(2);
 635 }
 636
 637 # Don't load Term::ANSIColor in buildd mode because Term::ANSIColor is not
 638 # installed on Debian's buildds.
 639 if (not $option_buildd) {
 640     require Term::ANSIColor;
 641 }
 642
 643 if ($option_all) {
 644     $option_pie     = 1;
 645     $option_bindnow = 1;
 646 }
 647
 648 # Precompiled ignores for faster lookup.
 649 my %option_ignore_arch_flag = ();
 650 my %option_ignore_arch_line = ();
 651
 652 # Strip flags which should be ignored.
 653 if (scalar @option_ignore_flag > 0) {
 654     remove_flags(\@flag_refs, \%flag_renames, @option_ignore_flag);
 655 }
 656 # Same for arch specific ignore flags, but only prepare here.
 657 if (scalar @option_ignore_arch_flag > 0) {
 658     foreach my $ignore (@option_ignore_arch_flag) {
 659         my ($ignore_arch, $ignore_flag) = split /:/, $ignore, 2;
 660
 661         if (not $ignore_arch or not $ignore_flag) {
 662             printf STDERR 'Value "%s" invalid for option ignore-arch-flag '
 663                         . '("arch:flag" expected)' . "\n", $ignore;
 664             require Pod::Usage;
 665             Pod::Usage::pod2usage(2);
 666         }
 667
 668         push @{$option_ignore_arch_flag{$ignore_arch}}, $ignore_flag;
 669     }
 670 }
 671
 672 # Precompile all flag regexps. any_flags_used(), all_flags_used() get a lot
 673 # faster with this.
 674 foreach my $flags (@flag_refs_all) {
 675     @{$flags} = compile_flag_regexp(\%flag_renames, @{$flags});
 676 }
 677
 678 # Precompile ignore line regexps, also anchor at beginning and end of line.
 679 foreach my $ignore (@option_ignore_line) {
 680     $ignore = qr/^$ignore$/;
 681 }
 682 # Same for arch specific ignore lines.
 683 if (scalar @option_ignore_arch_line > 0) {
 684     foreach my $ignore (@option_ignore_arch_line) {
 685         my ($ignore_arch, $ignore_line) = split /:/, $ignore, 2;
 686
 687         if (not $ignore_arch or not $ignore_line) {
 688             printf STDERR 'Value "%s" invalid for option ignore-arch-line '
 689                         . '("arch:line" expected)' . "\n", $ignore;
 690             require Pod::Usage;
 691             Pod::Usage::pod2usage(2);
 692         }
 693
 694         push @{$option_ignore_arch_line{$ignore_arch}}, qr/^$ignore_line$/;
 695     }
 696 }
 697
 698 # Final exit code.
 699 my $exit = 0;
 700
 701 FILE:
 702 foreach my $file (@ARGV) {
 703     print "checking '$file'...\n" if scalar @ARGV > 1;
 704
 705     -f $file or die "No such file: $file";
 706
 707     open my $fh, '<', $file or die $!;
 708
 709     # Architecture of this file.
 710     my $arch = $option_arch;
 711
 712     # Hardening options. Not all architectures support all hardening options.
 713     my $harden_format  = 1;
 714     my $harden_fortify = 1;
 715     my $harden_stack   = 1;
 716     my $harden_stack_strong = 1;
 717     my $harden_relro   = 1;
 718     my $harden_bindnow = $option_bindnow; # defaults to 0
 719     my $harden_pie     = $option_pie;     # defaults to 0
 720
 721     # Does this build log use ada? Ada also uses gcc as compiler but uses
 722     # different CFLAGS. But only perform ada checks if an ada compiler is used
 723     # for performance reasons.
 724     my $ada = 0;
 725
 726     # Number of parallel jobs to prevent false positives when detecting
 727     # non-verbose builds. As not all jobs declare the number of parallel jobs
 728     # use a large enough default.
 729     my $parallel = 10;
 730
 731     while (my $line = <$fh>) {
 732         # Detect architecture automatically unless overridden. For buildd logs
 733         # only, doesn't use the dpkg-buildpackage header. Necessary to ignore
 734         # build logs which aren't built (wrong architecture, build error,
 735         # etc.).
 736         if (not $arch) {
 737             if (index($line, 'Build Architecture: ') == 0) {
 738                 $arch = substr $line, 20, -1; # -1 to ignore '\n' at the end
 739             # For old logs (sbuild << 0.63.0-1).
 740             } elsif (index($line, 'Architecture: ') == 0) {
 741                 $arch = substr $line, 14, -1; # -1 to ignore '\n' at the end
 742             }
 743         }
 744
 745         # dpkg-buildflags only provides hardening flags since 1.16.1, don't
 746         # check for hardening flags in buildd mode if an older dpkg-dev is
 747         # used. Default flags (-g -O2) are still checked.
 748         #
 749         # Packages which were built before 1.16.1 but used their own hardening
 750         # flags are not checked.
 751         #
 752         # Strong stack protector is used since dpkg 1.17.11.
 753         if ($option_buildd
 754                 and index($line, 'Toolchain package versions: ') == 0) {
 755             require Dpkg::Version;
 756
 757             my $disable = 1;
 758             my $disable_strong = 1;
 759
 760             if ($line =~ /\bdpkg-dev_(\S+)/) {
 761                 if (Dpkg::Version::version_compare($1, '1.16.1') >= 0) {
 762                     $disable = 0;
 763                 }
 764                 if (Dpkg::Version::version_compare($1, '1.17.11') >= 0) {
 765                     $disable_strong = 0;
 766                 }
 767             }
 768
 769             if ($disable) {
 770                 $harden_format  = 0;
 771                 $harden_fortify = 0;
 772                 $harden_stack   = 0;
 773                 $harden_relro   = 0;
 774                 $harden_bindnow = 0;
 775                 $harden_pie     = 0;
 776             }
 777             if ($disable_strong) {
 778                 $harden_stack_strong = 0;
 779             }
 780         }
 781
 782         # The following two versions of CMake in Debian obeyed CPPFLAGS, but
 783         # this was later dropped because upstream rejected the patch. Thus
 784         # build logs with these versions will have fortify hardening flags
 785         # enabled, even though they may be not correctly set and are missing
 786         # when build with later CMake versions. Thanks to Aron Xu for letting
 787         # me know.
 788         if (index($line, 'Package versions: ') == 0
 789                 and $line =~ /\bcmake_(\S+)/
 790                 and ($1 eq '2.8.7-1' or $1 eq '2.8.7-2')) {
 791             if (not $option_buildd) {
 792                 error_invalid_cmake($1);
 793                 $exit |= $exit_code{invalid_cmake};
 794             } else {
 795                 print "$buildd_tag{invalid_cmake}|$1|\n";
 796             }
 797         }
 798
 799         # Debian's build daemons use "Filtered Build-Depends:" (or just
 800         # "Build-Depends:" in older versions) for the build dependencies, but
 801         # pbuilder uses "Depends:"; support both.
 802         if (index($line, 'Filtered Build-Depends: ') == 0
 803                 or index($line, 'Build-Depends: ') == 0
 804                 or index($line, 'Depends: ') == 0) {
 805             # If hardening wrapper is used (wraps calls to gcc and adds
 806             # hardening flags automatically) we can't perform any checks,
 807             # abort.
 808             if ($line =~ /\bhardening-wrapper\b/) {
 809                 if (not $option_buildd) {
 810                     error_hardening_wrapper();
 811                     $exit |= $exit_code{hardening_wrapper};
 812                 } else {
 813                     print "$buildd_tag{hardening_wrapper}||\n";
 814                 }
 815                 next FILE;
 816             }
 817
 818             # Ada compiler.
 819             if ($line =~ /\bgnat\b/) {
 820                 $ada = 1;
 821             }
 822         }
 823
 824         # This flags is not always available, but if it is use it.
 825         if ($line =~ /^DEB_BUILD_OPTIONS=.*\bparallel=(\d+)/) {
 826             $parallel = $1;
 827         }
 828
 829         # We skip over unimportant lines at the beginning of the log to
 830         # prevent false positives.
 831         last if index($line, 'dpkg-buildpackage: ') == 0;
 832     }
 833
 834     # Input lines, contain only the lines with compiler commands.
 835     my @input = ();
 836     # Non-verbose lines in the input. Used to reduce calls to
 837     # is_non_verbose_build() (which is quite slow) in the second loop when
 838     # it's already clear if a line is non-verbose or not.
 839     my @input_nonverbose = ();
 840
 841     my $continuation = 0;
 842     my $complete_line = undef;
 843     my $non_verbose;
 844     while (my $line = <$fh>) {
 845         # And stop at the end of the build log. Package details (reported by
 846         # the buildd logs) are not important for us. This also prevents false
 847         # positives.
 848         last if index($line, 'Build finished at ') == 0
 849                 and $line =~ /^Build finished at \d{8}-\d{4}$/;
 850
 851         if (not $continuation) {
 852             $non_verbose = 0;
 853         }
 854
 855         # Detect architecture automatically unless overridden.
 856         if (not $arch
 857                 and index($line, 'dpkg-buildpackage: host architecture ') == 0) {
 858             $arch = substr $line, 37, -1; # -1 to ignore '\n' at the end
 859
 860             # Old buildd logs use e.g. "host architecture is alpha", remove
 861             # the "is", otherwise debarch_to_debtriplet() will not detect the
 862             # architecture.
 863             if (index($arch, 'is ') == 0) {
 864                 $arch = substr $arch, 3;
 865             }
 866         }
 867
 868         next if $line =~ /^\s*#/;
 869         # Ignore compiler warnings for now.
 870         next if $line =~ /$warning_regex/o;
 871
 872         if (not $option_buildd and index($line, "\033") != -1) { # \033 = esc
 873             # Remove all ANSI color sequences which are sometimes used in
 874             # non-verbose builds.
 875             $line = Term::ANSIColor::colorstrip($line);
 876             # Also strip '\0xf' (delete previous character), used by Elinks'
 877             # build system.
 878             $line =~ s/\x0f//g;
 879             # And "ESC(B" which seems to be used on armhf and hurd (not sure
 880             # what it does).
 881             $line =~ s/\033\(B//g;
 882         }
 883
 884         # Check if this line indicates a non verbose build.
 885         my $skip = 0;
 886         $non_verbose |= is_non_verbose_build($line, \$skip);
 887         next if $skip;
 888
 889         # One line may contain multiple commands (";"). Treat each one as
 890         # single line. parse_line() is slow, only use it when necessary.
 891         my @line = (index($line, ';') == -1)
 892                  ? ($line)
 893                  : map {
 894                        # Ensure newline at the line end - necessary for
 895                        # correct parsing later.
 896                        $_ =~ s/\s+$//;
 897                        $_ .= "\n";
 898                    } Text::ParseWords::parse_line(';', 1, $line);
 899         foreach my $line (@line) {
 900             if ($continuation) {
 901                 $continuation = 0;
 902
 903                 # Join lines, but leave the "\" in place so it's clear where
 904                 # the original line break was.
 905                 chomp $complete_line;
 906                 $complete_line .= ' ' . $line;
 907             }
 908             # Line continuation, line ends with "\".
 909             if ($line =~ /\\$/) {
 910                 $continuation = 1;
 911                 # Start line continuation.
 912                 if (not defined $complete_line) {
 913                     $complete_line = $line;
 914                 }
 915                 next;
 916             }
 917
 918             # Use the complete line if a line continuation occurred.
 919             if (defined $complete_line) {
 920                 $line = $complete_line;
 921                 $complete_line = undef;
 922             }
 923
 924             # Ignore lines with no compiler commands.
 925             next if not $non_verbose
 926                     and not $line =~ /$cc_regex_normal/o;
 927             # Ignore lines with no filenames with extensions. May miss some
 928             # non-verbose builds (e.g. "gcc -o test" [sic!]), but shouldn't be
 929             # a problem as the log will most likely contain other non-verbose
 930             # commands which are detected.
 931             next if not $non_verbose
 932                     and not $line =~ /$file_extension_regex/o;
 933
 934             # Ignore false positives.
 935             #
 936             # `./configure` output.
 937             next if not $non_verbose
 938                     and $line =~ /^(?:checking|[Cc]onfigure:) /;
 939             next if $line =~ /^\s*(?:Host\s+)?(?:C(?:\+\+)?\s+)?
 940                                 [Cc]ompiler[\s.]*:?\s+
 941                                 /x;
 942             next if $line =~ m{^\s*(?:-\s)?(?:HOST_)?(?:CC|CXX)
 943                                 \s*=\s*$cc_regex_full
 944                                 # optional compiler options, don't allow
 945                                 # "everything" here to prevent false negatives
 946                                 \s*(?:\s-\S+)*\s*$}xo;
 947             # `moc-qt4`/`moc-qt5` contain '-I.../linux-g++' in their command
 948             # line (or similar for other architectures) which gets recognized
 949             # as a compiler line, but `moc-qt*` is only a preprocessor for Qt
 950             # C++ files. No hardening flags are relevant during this step,
 951             # thus ignore `moc-qt*` lines. The resulting files will be
 952             # compiled in a separate step (and therefore checked).
 953             next if $line =~ m{^\S+/bin/moc(?:-qt[45])?
 954                                \s.+\s
 955                                -I\S+/mkspecs/[a-z]+-g\++(?:-64)?
 956                                \s}x;
 957             # Ignore false positives when the line contains only CC=gcc but no
 958             # other gcc command.
 959             if ($line =~ /(.*)CC=$cc_regex_full(.*)/o) {
 960                 my $before = $1;
 961                 my $after  = $2;
 962                 next if     not $before =~ /$cc_regex_normal/o
 963                         and not $after  =~ /$cc_regex_normal/o;
 964             }
 965             # Ignore false positives caused by gcc -v. It outputs a line
 966             # looking like a normal compiler line but which is sometimes
 967             # missing hardening flags, although the normal compiler line
 968             # contains them.
 969             next if $line =~ m{^\s+/usr/lib/gcc/$cc_regex_full_prefix/
 970                                    [0-9.]+/cc1(?:plus)?}xo;
 971             # Ignore false positive with `rm` which may remove files which
 972             # look like a compiler executable thus causing the line to be
 973             # treated as a normal compiler line.
 974             next if $line =~ m{^\s*rm\s+};
 975             # Some build systems emit "gcc > file".
 976             next if $line =~ m{$cc_regex_normal\s*>\s*\S+};
 977
 978             # Check if additional hardening options were used. Used to ensure
 979             # they are used for the complete build.
 980             $harden_pie     = 1 if any_flags_used($line, @def_cflags_pie,
 981                                                          @def_ldflags_pie);
 982             $harden_bindnow = 1 if any_flags_used($line, @def_ldflags_bindnow);
 983
 984             push @input, $line;
 985             push @input_nonverbose, $non_verbose;
 986         }
 987     }
 988
 989     close $fh or die $!;
 990
 991     # Ignore arch if requested.
 992     if (scalar @option_ignore_arch > 0 and $arch) {
 993         foreach my $ignore (@option_ignore_arch) {
 994             if ($arch eq $ignore) {
 995                 print "ignoring architecture '$arch'\n";
 996                 next FILE;
 997             }
 998         }
 999     }
1000
1001     if (scalar @input == 0) {
1002         if (not $option_buildd) {
1003             print "No compiler commands!\n";
1004             $exit |= $exit_code{no_compiler_commands};
1005         } else {
1006             print "$buildd_tag{no_compiler_commands}||\n";
1007         }
1008         next FILE;
1009     }
1010
1011     if ($option_buildd) {
1012         $statistics{commands} += scalar @input;
1013     }
1014
1015     # Option or auto detected.
1016     if ($arch) {
1017         # The following was partially copied from dpkg-dev 1.18.10
1018         # (/usr/share/perl5/Dpkg/Vendor/Debian.pm, _add_hardening_flags()),
1019         # copyright Raphaël Hertzog <hertzog@debian.org>, Kees Cook
1020         # <kees@debian.org>, Canonical, Ltd. licensed under GPL version 2 or
1021         # later. Keep it in sync.
1022
1023         require Dpkg::Arch;
1024         my ($abi, $os, $cpu) = Dpkg::Arch::debarch_to_debtriplet($arch);
1025
1026         # Disable unsupported hardening options.
1027         if ($os !~ /^(?:linux|kfreebsd|knetbsd|hurd)$/
1028                 or $cpu =~ /^(?:hppa|avr32)$/) {
1029             $harden_pie = 0;
1030         }
1031         if ($cpu =~ /^(?:ia64|alpha|hppa|nios2)$/ or $arch eq 'arm') {
1032             $harden_stack = 0;
1033             $harden_stack_strong = 0;
1034         }
1035         if ($cpu =~ /^(?:ia64|hppa|avr32)$/) {
1036             $harden_relro   = 0;
1037             $harden_bindnow = 0;
1038         }
1039     }
1040
1041     # Default values.
1042     my @cflags   = @def_cflags;
1043     my @cxxflags = @def_cxxflags;
1044     my @cppflags = @def_cppflags;
1045     my @ldflags  = @def_ldflags;
1046     # Check the specified hardening options, same order as dpkg-buildflags.
1047     if ($harden_pie) {
1048         @cflags   = (@cflags,   @def_cflags_pie);
1049         @cxxflags = (@cxxflags, @def_cflags_pie);
1050         @ldflags  = (@ldflags,  @def_ldflags_pie);
1051     }
1052     if ($harden_stack_strong) {
1053         @cflags   = (@cflags,   @def_cflags_stack_strong);
1054         @cxxflags = (@cxxflags, @def_cflags_stack_strong);
1055     } elsif ($harden_stack) {
1056         @cflags   = (@cflags,   @def_cflags_stack);
1057         @cxxflags = (@cxxflags, @def_cflags_stack);
1058     }
1059     if ($harden_fortify) {
1060         @cflags   = (@cflags,   @def_cflags_fortify);
1061         @cxxflags = (@cxxflags, @def_cflags_fortify);
1062         @cppflags = (@cppflags, @def_cppflags_fortify);
1063     }
1064     if ($harden_format) {
1065         @cflags   = (@cflags,   @def_cflags_format);
1066         @cxxflags = (@cxxflags, @def_cflags_format);
1067     }
1068     if ($harden_relro) {
1069         @ldflags = (@ldflags, @def_ldflags_relro);
1070     }
1071     if ($harden_bindnow) {
1072         @ldflags = (@ldflags, @def_ldflags_bindnow);
1073     }
1074
1075     # Stores normal CFLAGS when @cflags_ada are temporarily used.
1076     my @cflags_backup;
1077     # Ada CFLAGS, only set if ada is used.
1078     my @cflags_ada;
1079     # Ada doesn't support format hardening flags, see #680117 for more
1080     # information. Filter them out if ada is used.
1081     if ($ada and $harden_format) {
1082         @cflags_ada = grep {
1083             my $ok = 1;
1084             foreach my $flag (@def_cflags_format) {
1085                 $ok = 0 if $_ eq $flag;
1086             }
1087             $ok;
1088         } @cflags;
1089     }
1090
1091     # Hack to fix cppflags_fortify_broken() if --ignore-flag
1092     # -D_FORTIFY_SOURCE=2 is used to ignore missing fortification. Only works
1093     # as long as @def_cppflags_fortify contains only one variable.
1094     if (scalar @def_cppflags_fortify == 0) {
1095         $harden_fortify = 0;
1096     }
1097
1098     # Ignore flags for this arch if requested.
1099     if ($arch and exists $option_ignore_arch_flag{$arch}) {
1100         my @local_flag_refs = (\@cflags, \@cxxflags, \@cppflags, \@ldflags);
1101
1102         remove_flags(\@local_flag_refs,
1103                      \%flag_renames,
1104                      @{$option_ignore_arch_flag{$arch}});
1105     }
1106
1107     my @ignore_line = @option_ignore_line;
1108     # Ignore lines for this arch if requested.
1109     if ($arch and exists $option_ignore_arch_line{$arch}) {
1110         @ignore_line = (@ignore_line, @{$option_ignore_arch_line{$arch}});
1111     }
1112
1113 LINE:
1114     for (my $i = 0; $i < scalar @input; $i++) {
1115         my $line = $input[$i];
1116
1117         # Ignore line if requested.
1118         foreach my $ignore (@ignore_line) {
1119             next LINE if $line =~ /$ignore/;
1120         }
1121
1122         my $skip = 0;
1123         if ($input_nonverbose[$i]
1124                 and is_non_verbose_build($line, \$skip,
1125                                          \@input, $i, $parallel)) {
1126             if (not $option_buildd) {
1127                 error_non_verbose_build($line);
1128                 $exit |= $exit_code{non_verbose_build};
1129             } else {
1130                 $statistics{commands_nonverbose}++;
1131             }
1132             next;
1133         }
1134         # Even if it's a verbose build, we might have to skip this line (see
1135         # is_non_verbose_build()).
1136         next if $skip;
1137
1138         my $orig_line = $line;
1139
1140         # Remove everything until and including the compiler command. Makes
1141         # checks easier and faster.
1142         $line =~ s/^.*?$cc_regex//o;
1143         # "([...] test.c)" is not detected as 'test.c' - fix this by removing
1144         # the brace and similar characters at the line end.
1145         $line =~ s/['")]+$//;
1146
1147         # Skip unnecessary tests when only preprocessing.
1148         my $flag_preprocess = 0;
1149
1150         my $dependency = 0;
1151         my $preprocess = 0;
1152         my $compile    = 0;
1153         my $link       = 0;
1154
1155         # Preprocess, compile, assemble.
1156         if ($line =~ /\s(-E|-S|-c)\b/) {
1157             $preprocess      = 1;
1158             $flag_preprocess = 1 if $1 eq '-E';
1159             $compile         = 1 if $1 eq '-S' or $1 eq '-c';
1160         # Dependency generation for Makefiles. The other flags (-MF -MG -MP
1161         # -MT -MQ) are always used with -M/-MM.
1162         } elsif ($line =~ /\s(?:-M|-MM)\b/) {
1163             $dependency = 1;
1164         # Otherwise assume we are linking.
1165         } else {
1166             $link = 1;
1167         }
1168
1169         # -MD/-MMD also cause dependency generation, but they don't imply -E!
1170         if ($line =~ /\s(?:-MD|-MMD)\b/) {
1171             $dependency      = 0;
1172             $flag_preprocess = 0;
1173         }
1174
1175         # Dependency generation for Makefiles, no preprocessing or other flags
1176         # needed.
1177         next if $dependency;
1178
1179         # Get all file extensions on this line.
1180         my @extensions = $line =~ /$file_extension_regex/go;
1181         # Ignore all unknown extensions to speedup the search below.
1182         @extensions = grep { exists $extension{$_} } @extensions;
1183
1184         # These file types don't require preprocessing.
1185         if (extension_found(\%extensions_no_preprocess, @extensions)) {
1186             $preprocess = 0;
1187         }
1188         # These file types require preprocessing.
1189         if (extension_found(\%extensions_preprocess, @extensions)) {
1190             # Prevent false positives with "libtool: link: g++ -include test.h
1191             # .." compiler lines.
1192             if ($orig_line !~ /$libtool_link_regex/o) {
1193                 $preprocess = 1;
1194             }
1195         }
1196
1197         if (not $flag_preprocess) {
1198             # If there are source files then it's compiling/linking in one
1199             # step and we must check both. We only check for source files
1200             # here, because header files cause too many false positives.
1201             if (extension_found(\%extensions_compile_link, @extensions)) {
1202                 # Assembly files don't need CFLAGS.
1203                 if (not extension_found(\%extensions_compile, @extensions)
1204                         and extension_found(\%extensions_no_compile, @extensions)) {
1205                     $compile = 0;
1206                 # But the rest does.
1207                 } else {
1208                     $compile = 1;
1209                 }
1210             # No compilable extensions found, either linking or compiling
1211             # header flags.
1212             #
1213             # If there are also no object files we are just compiling headers
1214             # (.h -> .h.gch). Don't check for linker flags in this case. Due
1215             # to our liberal checks for compiler lines, this also reduces the
1216             # number of false positives considerably.
1217             } elsif ($link
1218                     and not extension_found(\%extensions_object, @extensions)) {
1219                 $link = 0;
1220             }
1221         }
1222
1223         my $compile_cpp = 0;
1224         my $compile_ada = 0;
1225         # Assume CXXFLAGS are required when a C++ file is specified in the
1226         # compiler line.
1227         if ($compile
1228                 and extension_found(\%extensions_compile_cpp, @extensions)) {
1229             $compile     = 0;
1230             $compile_cpp = 1;
1231         # Ada needs special CFLAGS, use them if only ada files are compiled.
1232         } elsif ($ada
1233                     and $compile
1234                     and array_equal(\@extensions,
1235                                     \@source_no_preprocess_compile_ada)) {
1236             $compile_ada = 1;
1237             @cflags_backup = @cflags;
1238             @cflags        = @cflags_ada;
1239         }
1240
1241         if ($option_buildd) {
1242             $statistics{preprocess}++  if $preprocess;
1243             $statistics{compile}++     if $compile;
1244             $statistics{compile_cpp}++ if $compile_cpp;
1245             $statistics{link}++        if $link;
1246         }
1247
1248         # Check if there are flags indicating a debug build. If that's true,
1249         # skip the check for -O2. This prevents fortification, but that's fine
1250         # for a debug build.
1251         if (any_flags_used($line, @def_cflags_debug)) {
1252             remove_flags([\@cflags], \%flag_renames, $def_cflags[1]);
1253             remove_flags([\@cppflags], \%flag_renames, $def_cppflags_fortify[0]);
1254         }
1255
1256         # Check hardening flags.
1257         my @missing;
1258         if ($compile and not all_flags_used($line, \@missing, @cflags)
1259                 # Libraries linked with -fPIC don't have to (and can't) be
1260                 # linked with -fPIE as well. It's no error if only PIE flags
1261                 # are missing.
1262                 and not pic_pie_conflict($line, $harden_pie, \@missing, @def_cflags_pie)
1263                 # Assume dpkg-buildflags returns the correct flags.
1264                 and index($line, '`dpkg-buildflags --get CFLAGS`') == -1) {
1265             if (not $option_buildd) {
1266                 error_flags('CFLAGS missing', \@missing, \%flag_renames, $input[$i]);
1267                 $exit |= $exit_code{flags_missing};
1268             } else {
1269                 $statistics{compile_missing}++;
1270             }
1271         } elsif ($compile_cpp and not all_flags_used($line, \@missing, @cflags)
1272                 # Libraries linked with -fPIC don't have to (and can't) be
1273                 # linked with -fPIE as well. It's no error if only PIE flags
1274                 # are missing.
1275                 and not pic_pie_conflict($line, $harden_pie, \@missing, @def_cflags_pie)
1276                 # Assume dpkg-buildflags returns the correct flags.
1277                 and index($line, '`dpkg-buildflags --get CXXFLAGS`') == -1) {
1278             if (not $option_buildd) {
1279                 error_flags('CXXFLAGS missing', \@missing, \%flag_renames, $input[$i]);
1280                 $exit |= $exit_code{flags_missing};
1281             } else {
1282                 $statistics{compile_cpp_missing}++;
1283             }
1284         }
1285         if ($preprocess
1286                 and (not all_flags_used($line, \@missing, @cppflags)
1287                     # The fortify flag might be overwritten, detect that.
1288                      or ($harden_fortify
1289                          and cppflags_fortify_broken($line, \@missing)))
1290                 # Assume dpkg-buildflags returns the correct flags.
1291                 and index($line, '`dpkg-buildflags --get CPPFLAGS`') == -1) {
1292             if (not $option_buildd) {
1293                 error_flags('CPPFLAGS missing', \@missing, \%flag_renames, $input[$i]);
1294                 $exit |= $exit_code{flags_missing};
1295             } else {
1296                 $statistics{preprocess_missing}++;
1297             }
1298         }
1299         if ($link and not all_flags_used($line, \@missing, @ldflags)
1300                 # Same here, -fPIC conflicts with -fPIE.
1301                 and not pic_pie_conflict($line, $harden_pie, \@missing, @def_ldflags_pie)
1302                 # Assume dpkg-buildflags returns the correct flags.
1303                 and index($line, '`dpkg-buildflags --get LDFLAGS`') == -1) {
1304             if (not $option_buildd) {
1305                 error_flags('LDFLAGS missing', \@missing, \%flag_renames, $input[$i]);
1306                 $exit |= $exit_code{flags_missing};
1307             } else {
1308                 $statistics{link_missing}++;
1309             }
1310         }
1311
1312         # Restore normal CFLAGS.
1313         if ($compile_ada) {
1314             @cflags = @cflags_backup;
1315         }
1316     }
1317 }
1318
1319 # Print statistics for buildd mode, only output in this mode.
1320 if ($option_buildd) {
1321     my @warning;
1322
1323     if ($statistics{preprocess_missing}) {
1324         push @warning, sprintf 'CPPFLAGS %d (of %d)',
1325                                $statistics{preprocess_missing},
1326                                $statistics{preprocess};
1327     }
1328     if ($statistics{compile_missing}) {
1329         push @warning, sprintf 'CFLAGS %d (of %d)',
1330                                $statistics{compile_missing},
1331                                $statistics{compile};
1332     }
1333     if ($statistics{compile_cpp_missing}) {
1334         push @warning, sprintf 'CXXFLAGS %d (of %d)',
1335                                $statistics{compile_cpp_missing},
1336                                $statistics{compile_cpp};
1337     }
1338     if ($statistics{link_missing}) {
1339         push @warning, sprintf 'LDFLAGS %d (of %d)',
1340                                $statistics{link_missing},
1341                                $statistics{link};
1342     }
1343     if (scalar @warning) {
1344         local $" = ', '; # array join string
1345         print "$buildd_tag{flags_missing}|@warning missing|\n";
1346     }
1347
1348     if ($statistics{commands_nonverbose}) {
1349         printf "$buildd_tag{non_verbose_build}|%d (of %d) hidden|\n",
1350                $statistics{commands_nonverbose},
1351                $statistics{commands},
1352     }
1353 }
1354
1355
1356 exit $exit;
1357
1358
1359 __END__
1360
1361 =head1 NAME
1362
1363 blhc - build log hardening check, checks build logs for missing hardening flags
1364
1365 =head1 SYNOPSIS
1366
1367 B<blhc> [I<options>] I<< <dpkg-buildpackage build log file>.. >>
1368
1369 =head1 DESCRIPTION
1370
1371 blhc is a small tool which checks build logs for missing hardening flags. It's
1372 licensed under the GPL 3 or later.
1373
1374 It's designed to check build logs generated by Debian's dpkg-buildpackage (or
1375 tools using dpkg-buildpackage like pbuilder or sbuild (which is used for the
1376 official buildd build logs)) to help maintainers detect missing hardening
1377 flags in their packages.
1378
1379 Only gcc is detected as compiler at the moment. If other compilers support
1380 hardening flags as well, please report them.
1381
1382 If there's no output, no flags are missing and the build log is fine.
1383
1384 See F<README> for details about performed checks, auto-detection and
1385 limitations.
1386
1387 =head1 OPTIONS
1388
1389 =over 8
1390
1391 =item B<--all>
1392
1393 Force check for all +all (+pie, +bindnow) hardening flags. By default it's
1394 auto detected.
1395
1396 =item B<--arch> I<architecture>
1397
1398 Set the specific architecture (e.g. amd64, armel, etc.), automatically
1399 disables hardening flags not available on this architecture. Is detected
1400 automatically if dpkg-buildpackage is used.
1401
1402 =item B<--bindnow>
1403
1404 Force check for all +bindnow hardening flags. By default it's auto detected.
1405
1406 =item B<--buildd>
1407
1408 Special mode for buildds when automatically parsing log files. The following
1409 changes are in effect:
1410
1411 =over 2
1412
1413 =item *
1414
1415 Print tags instead of normal warnings, see L</"BUILDD TAGS"> for a list of
1416 possible tags.
1417
1418 =item *
1419
1420 Don't check hardening flags in old log files (if dpkg-dev << 1.16.1 is
1421 detected).
1422
1423 =item *
1424
1425 Don't require Term::ANSIColor.
1426
1427 =item *
1428
1429 Return exit code 0, unless there was a error (-I, -W messages don't count as
1430 error).
1431
1432 =back
1433
1434 =item B<--color>
1435
1436 Use colored (ANSI) output for warning messages.
1437
1438 =item B<--ignore-arch> I<arch>
1439
1440 Ignore build logs from architectures matching I<arch>. I<arch> is a string.
1441
1442 Used to prevent false positives. This option can be specified multiple times.
1443
1444 =item B<--ignore-arch-flag> I<arch>:I<flag>
1445
1446 Like B<--ignore-flag>, but only ignore flag on I<arch>.
1447
1448 =item B<--ignore-arch-line> I<arch>:I<line>
1449
1450 Like B<--ignore-line>, but only ignore line on I<arch>.
1451
1452 =item B<--ignore-flag> I<flag>
1453
1454 Don't print an error when the specific flag is missing in a compiler line.
1455 I<flag> is a string.
1456
1457 Used to prevent false positives. This option can be specified multiple times.
1458
1459 =item B<--ignore-line> I<regex>
1460
1461 Ignore lines matching the given Perl regex. I<regex> is automatically anchored
1462 at the beginning and end of the line to prevent false negatives.
1463
1464 B<NOTE>: Not the input lines are checked, but the lines which are displayed in
1465 warnings (which have line continuation resolved).
1466
1467 Used to prevent false positives. This option can be specified multiple times.
1468
1469 =item B<--pie>
1470
1471 Force check for all +pie hardening flags. By default it's auto detected.
1472
1473 =item B<-h -? --help>
1474
1475 Print available options.
1476
1477 =item B<--version>
1478
1479 Print version number and license.
1480
1481 =back
1482
1483 Auto detection for B<--pie> and B<--bindnow> only works if at least one
1484 command uses the required hardening flag (e.g. -fPIE). Then it's required for
1485 all other commands as well.
1486
1487 =head1 EXAMPLES
1488
1489 Normal usage, parse a single log file.
1490
1491     blhc path/to/log/file
1492
1493 If there's no output, no flags are missing and the build log is fine.
1494
1495 Parse multiple log files. The exit code is ORed over all files.
1496
1497     blhc path/to/directory/with/log/files/*
1498
1499 Don't treat missing C<-g> as error:
1500
1501     blhc --ignore-flag -g path/to/log/file
1502
1503 Don't treat missing C<-pie> on kfreebsd-amd64 as error:
1504
1505     blhc --ignore-arch-flag kfreebsd-amd64:-pie path/to/log/file
1506
1507 Ignore lines consisting exactly of C<./script gcc file> which would cause a
1508 false positive.
1509
1510     blhc --ignore-line '\./script gcc file' path/to/log/file
1511
1512 Ignore lines matching C<./script gcc file> somewhere in the line.
1513
1514     blhc --ignore-line '.*\./script gcc file.*' path/to/log/file
1515
1516 Use blhc with pbuilder.
1517
1518     pbuilder path/to/package.dsc | tee path/log/file
1519     blhc path/to/file || echo flags missing
1520
1521 =head1 BUILDD TAGS
1522
1523 The following tags are used in I<--buildd> mode. In braces the additional data
1524 which is displayed.
1525
1526 =over 2
1527
1528 =item B<I-hardening-wrapper-used>
1529
1530 The package uses hardening-wrapper which intercepts calls to gcc and adds
1531 hardening flags. The build log doesn't contain any hardening flags and thus
1532 can't be checked by blhc.
1533
1534 =item B<W-compiler-flags-hidden> (summary of hidden lines)
1535
1536 Build log contains lines which hide the real compiler flags. For example:
1537
1538     CC test-a.c
1539     CC test-b.c
1540     CC test-c.c
1541     LD test
1542
1543 Most of the time either C<export V=1> or C<export verbose=1> in
1544 F<debian/rules> fixes builds with hidden compiler flags. Sometimes C<.SILENT>
1545 in a F<Makefile> must be removed. And as last resort the F<Makefile> must be
1546 patched to remove the C<@>s hiding the real compiler commands.
1547
1548 =item B<W-dpkg-buildflags-missing> (summary of missing flags)
1549
1550 CPPFLAGS, CFLAGS, CXXFLAGS, LDFLAGS missing.
1551
1552 =item B<I-invalid-cmake-used> (version)
1553
1554 By default CMake ignores CPPFLAGS thus missing those hardening flags. Debian
1555 patched CMake in versions 2.8.7-1 and 2.8.7-2 to respect CPPFLAGS, but this
1556 patch was rejected by upstream and later reverted in Debian. Thus those two
1557 versions show correct usage of CPPFLAGS even if the package doesn't correctly
1558 handle them (for example by passing them to CFLAGS). To prevent false
1559 negatives just blacklist those two versions.
1560
1561 =item B<I-no-compiler-commands>
1562
1563 No compiler commands were detected. Either the log contains none or they were
1564 not correctly detected by blhc (please report the bug in this case).
1565
1566 =back
1567
1568 =head1 EXIT STATUS
1569
1570 The exit status is a "bit mask", each listed status is ORed when the error
1571 condition occurs to get the result.
1572
1573 =over 4
1574
1575 =item B<0>
1576
1577 Success.
1578
1579 =item B<1>
1580
1581 No compiler commands were found.
1582
1583 =item B<2>
1584
1585 Invalid arguments/options given to blhc.
1586
1587 =item B<4>
1588
1589 Non verbose build.
1590
1591 =item B<8>
1592
1593 Missing hardening flags.
1594
1595 =item B<16>
1596
1597 Hardening wrapper detected, no tests performed.
1598
1599 =item B<32>
1600
1601 Invalid CMake version used. See B<I-invalid-cmake-used> under L</"BUILDD
1602 TAGS"> for a detailed explanation.
1603
1604 =back
1605
1606 =head1 AUTHOR
1607
1608 Simon Ruderich, E<lt>simon@ruderich.orgE<gt>
1609
1610 Thanks to to Bernhard R. Link E<lt>brlink@debian.orgE<gt> and Jaria Alto
1611 E<lt>jari.aalto@cante.netE<gt> for their valuable input and suggestions.
1612
1613 =head1 LICENSE AND COPYRIGHT
1614
1615 Copyright (C) 2012-2016 by Simon Ruderich
1616
1617 This program is free software: you can redistribute it and/or modify
1618 it under the terms of the GNU General Public License as published by
1619 the Free Software Foundation, either version 3 of the License, or
1620 (at your option) any later version.
1621
1622 This program is distributed in the hope that it will be useful,
1623 but WITHOUT ANY WARRANTY; without even the implied warranty of
1624 MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
1625 GNU General Public License for more details.
1626
1627 You should have received a copy of the GNU General Public License
1628 along with this program.  If not, see <http://www.gnu.org/licenses/>.
1629
1630 =head1 SEE ALSO
1631
1632 L<hardening-check(1)>, L<dpkg-buildflags(1)>
1633
1634 =cut