bin/blhc

   1 #!/usr/bin/perl
   2
   3 # Build log hardening check, checks build logs for missing hardening flags.
   4
   5 # Copyright (C) 2012-2018  Simon Ruderich
   6 #
   7 # This program is free software: you can redistribute it and/or modify
   8 # it under the terms of the GNU General Public License as published by
   9 # the Free Software Foundation, either version 3 of the License, or
  10 # (at your option) any later version.
  11 #
  12 # This program is distributed in the hope that it will be useful,
  13 # but WITHOUT ANY WARRANTY; without even the implied warranty of
  14 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  15 # GNU General Public License for more details.
  16 #
  17 # You should have received a copy of the GNU General Public License
  18 # along with this program.  If not, see <http://www.gnu.org/licenses/>.
  19
  20
  21 use strict;
  22 use warnings;
  23
  24 use Getopt::Long ();
  25 use Text::ParseWords ();
  26
  27 our $VERSION = '0.07';
  28
  29
  30 # CONSTANTS/VARIABLES
  31
  32 # Regex to catch compiler commands.
  33 my $cc_regex = qr/
  34     (?<!\s-)               # ignore options, e.g. "-c++" [sic!] (used by swig)
  35     (?<!\.)                # ignore file names, e.g. "test.gcc"
  36     (?:cc|gcc|g\+\+|c\+\+|gfortran|mpicc|mpicxx|mpifort)
  37     (?:-[\d.]+)?           # version suffix, e.g. "gcc-4.6"
  38     /x;
  39 # Full regex which matches the complete compiler name. Used in a few places to
  40 # prevent false negatives.
  41 my $cc_regex_full_prefix = qr/
  42     [a-z0-9_]+-(?:linux-|kfreebsd-)?gnu(?:eabi|eabihf)?
  43     /x;
  44 my $cc_regex_full = qr/
  45     (?:$cc_regex_full_prefix-)?
  46     $cc_regex
  47     /x;
  48 # Regex to check if a line contains a compiler command.
  49 my $cc_regex_normal = qr/
  50     \b$cc_regex(?:\s|\\)
  51     /x;
  52 # Regex to catch (GCC) compiler warnings.
  53 my $warning_regex = qr/^(.+?):(\d+):\d+: warning: (.+?) \[(.+?)\]$/;
  54 # Regex to catch libtool commands and not lines which show commands executed
  55 # by libtool (e.g. libtool: link: ...).
  56 my $libtool_regex = qr/\blibtool\s.*--mode=/;
  57 my $libtool_link_regex = qr/\blibtool: link: /;
  58
  59 # List of source file extensions which require preprocessing.
  60 my @source_preprocess_compile_cpp = (
  61     # C++
  62     qw( cc cp cxx cpp CPP c++ C ),
  63     # Objective-C++
  64     qw( mm M ),
  65 );
  66 my @source_preprocess_compile_fortran = (
  67     # Fortran
  68     qw( F FOR fpp FPP FTN F90 F95 F03 F08 ),
  69 );
  70 my @source_preprocess_compile = (
  71     # C
  72     qw( c ),
  73     # Objective-C
  74     qw( m ),
  75     # (Objective-)C++
  76     @source_preprocess_compile_cpp,
  77     # Fortran
  78     @source_preprocess_compile_fortran,
  79 );
  80 my @source_preprocess_no_compile = (
  81     # Assembly
  82     qw( S sx ),
  83 );
  84 my @source_preprocess = (
  85     @source_preprocess_compile,
  86     @source_preprocess_no_compile,
  87 );
  88 # List of source file extensions which don't require preprocessing.
  89 my @source_no_preprocess_compile_cpp = (
  90     # C++
  91     qw( ii ),
  92     # Objective-C++
  93     qw( mii ),
  94 );
  95 my @source_no_preprocess_compile_ada = (
  96     # Ada source
  97     qw( ada ),
  98     # Ada body
  99     qw( adb ),
 100 );
 101 my @source_no_preprocess_compile_fortran = (
 102     # Fortran
 103     qw( f for ftn f90 f95 f03 f08 ),
 104 );
 105 my @source_no_preprocess_compile = (
 106     # C
 107     qw( i ),
 108     # (Objective-)C++
 109     @source_no_preprocess_compile_cpp,
 110     # Objective-C
 111     qw( mi ),
 112     # Fortran
 113     @source_no_preprocess_compile_fortran,
 114     # Ada
 115     @source_no_preprocess_compile_ada,
 116 );
 117 my @source_no_preprocess_no_compile_ada = (
 118     # Ada specification
 119     qw( ads ),
 120 );
 121 my @source_no_preprocess_no_compile = (
 122     # Assembly
 123     qw( s ),
 124     # Ada
 125     @source_no_preprocess_no_compile_ada,
 126 );
 127 my @source_no_preprocess = (
 128     @source_no_preprocess_compile,
 129     @source_no_preprocess_no_compile,
 130 );
 131 # List of header file extensions which require preprocessing.
 132 my @header_preprocess = (
 133     # C, C++, Objective-C, Objective-C++
 134     qw( h ),
 135     # C++
 136     qw( hh H hp hxx hpp HPP h++ tcc ),
 137 );
 138 # Object files.
 139 my @object = (
 140     # Normal object files.
 141     qw ( o ),
 142     # Libtool object files.
 143     qw ( lo la ),
 144     # Dynamic libraries. bzip2 uses .sho.
 145     qw ( so sho ),
 146     # Static libraries.
 147     qw ( a ),
 148 );
 149
 150 # Hashes for fast extensions lookup to check if a file falls in one of these
 151 # categories.
 152 my %extensions_no_preprocess = map { $_ => 1 } (
 153     # There's no @header_no_preprocess.
 154     @source_no_preprocess,
 155 );
 156 my %extensions_preprocess = map { $_ => 1 } (
 157     @header_preprocess,
 158     @source_preprocess,
 159 );
 160 my %extensions_compile_link = map { $_ => 1 } (
 161     @source_preprocess,
 162     @source_no_preprocess,
 163 );
 164 my %extensions_compile = map { $_ => 1 } (
 165     @source_preprocess_compile,
 166     @source_no_preprocess_compile,
 167 );
 168 my %extensions_no_compile = map { $_ => 1 } (
 169     @source_preprocess_no_compile,
 170     @source_no_preprocess_no_compile,
 171 );
 172 my %extensions_compile_cpp = map { $_ => 1 } (
 173     @source_preprocess_compile_cpp,
 174     @source_no_preprocess_compile_cpp,
 175 );
 176 my %extensions_ada = map { $_ => 1 } (
 177     @source_no_preprocess_compile_ada,
 178     @source_no_preprocess_no_compile_ada,
 179 );
 180 my %extensions_fortran = map { $_ => 1 } (
 181     @source_no_preprocess_compile_fortran,
 182     @source_preprocess_compile_fortran,
 183 );
 184 my %extensions_object = map { $_ => 1 } (
 185     @object,
 186 );
 187 my %extension = map { $_ => 1 } (
 188     @source_no_preprocess,
 189     @header_preprocess,
 190     @source_preprocess,
 191     @object,
 192 );
 193
 194 # Regexp to match file extensions.
 195 my $file_extension_regex = qr/
 196     \s
 197     \S+             # Filename without extension.
 198     \.
 199     ([^\/\\.,;:\s]+)# File extension.
 200     (?=\s|\\)       # At end of word. Can't use \b because some files have non
 201                     # word characters at the end and because \b matches double
 202                     # extensions (like .cpp.o). Works always as all lines are
 203                     # terminated with "\n".
 204     /x;
 205
 206 # Expected (hardening) flags. All flags are used as regexps (and compiled to
 207 # real regexps below for better execution speed).
 208 my @def_cflags = (
 209     '-g',
 210     '-O(?:2|3)', # keep at index 1, search for @def_cflags_debug to change it
 211 );
 212 my @def_cflags_debug = (
 213     # These flags indicate a debug build which disables checks for -O2.
 214     '-O0',
 215     '-Og',
 216 );
 217 my @def_cflags_format = (
 218     '-Wformat(?:=2)?', # -Wformat=2 implies -Wformat, accept it too
 219     '-Werror=format-security', # implies -Wformat-security
 220 );
 221 my @def_cflags_fortify = (
 222     # fortify needs at least -O1, but -O2 is recommended anyway
 223 );
 224 my @def_cflags_stack = (
 225     '-fstack-protector',
 226     '--param[= ]ssp-buffer-size=4',
 227 );
 228 my @def_cflags_stack_strong = (
 229     '-fstack-protector-strong',
 230 );
 231 my @def_cflags_pie = (
 232     '-fPIE',
 233 );
 234 my @def_cxxflags = (
 235     @def_cflags,
 236 );
 237 # @def_cxxflags_* is the same as @def_cflags_*.
 238 my @def_cppflags = ();
 239 my @def_cppflags_fortify = (
 240     '-D_FORTIFY_SOURCE=2', # must be first, see cppflags_fortify_broken()
 241     # If you add another flag fix hack below (search for "Hack to fix") and
 242     # $def_cppflags_fortify[0].
 243 );
 244 my @def_cppflags_fortify_bad = (
 245     # These flags may overwrite -D_FORTIFY_SOURCE=2.
 246     '-U_FORTIFY_SOURCE',
 247     '-D_FORTIFY_SOURCE=0',
 248     '-D_FORTIFY_SOURCE=1',
 249 );
 250 my @def_ldflags = ();
 251 my @def_ldflags_relro = (
 252     '-Wl,(?:-z,)?relro',
 253 );
 254 my @def_ldflags_bindnow = (
 255     '-Wl,(?:-z,)?now',
 256 );
 257 my @def_ldflags_pie = (
 258     '-fPIE',
 259     '-pie',
 260 );
 261 my @def_ldflags_pic = (
 262     '-fPIC',
 263     '-fpic',
 264     '-shared',
 265 );
 266 # References to all flags checked by the flag checker.
 267 my @flag_refs = (
 268     \@def_cflags,
 269     \@def_cflags_format,
 270     \@def_cflags_fortify,
 271     \@def_cflags_stack,
 272     \@def_cflags_stack_strong,
 273     \@def_cflags_pie,
 274     \@def_cxxflags,
 275     \@def_cppflags,
 276     \@def_cppflags_fortify,
 277     \@def_ldflags,
 278     \@def_ldflags_relro,
 279     \@def_ldflags_bindnow,
 280     \@def_ldflags_pie,
 281 );
 282 # References to all used flags.
 283 my @flag_refs_all = (
 284     @flag_refs,
 285     \@def_cflags_debug,
 286     \@def_cppflags_fortify_bad,
 287     \@def_ldflags_pic,
 288 );
 289 # Renaming rules for the output so the regex parts are not visible. Also
 290 # stores string values of flag regexps above, see compile_flag_regexp().
 291 my %flag_renames = (
 292     '-O(?:2|3)'                    => '-O2',
 293     '-Wformat(?:=2)?'              => '-Wformat',
 294     '--param[= ]ssp-buffer-size=4' => '--param=ssp-buffer-size=4',
 295     '-Wl,(?:-z,)?relro'            => '-Wl,-z,relro',
 296     '-Wl,(?:-z,)?now'              => '-Wl,-z,now',
 297 );
 298
 299 my %exit_code = (
 300     no_compiler_commands => 1 << 0,
 301     # used by POD::Usage => 1 << 1,
 302     non_verbose_build    => 1 << 2,
 303     flags_missing        => 1 << 3,
 304     hardening_wrapper    => 1 << 4,
 305     invalid_cmake        => 1 << 5,
 306 );
 307
 308 my %buildd_tag = (
 309     no_compiler_commands => 'I-no-compiler-commands',
 310     non_verbose_build    => 'W-compiler-flags-hidden',
 311     flags_missing        => 'W-dpkg-buildflags-missing',
 312     hardening_wrapper    => 'I-hardening-wrapper-used',
 313     invalid_cmake        => 'I-invalid-cmake-used',
 314 );
 315
 316 # Statistics of missing flags and non-verbose build commands. Used for
 317 # $option_buildd.
 318 my %statistics = (
 319     preprocess          => 0,
 320     preprocess_missing  => 0,
 321     compile             => 0,
 322     compile_missing     => 0,
 323     compile_cpp         => 0,
 324     compile_cpp_missing => 0,
 325     link                => 0,
 326     link_missing        => 0,
 327     commands            => 0,
 328     commands_nonverbose => 0,
 329 );
 330
 331 # Use colored (ANSI) output?
 332 my $option_color;
 333
 334
 335 # FUNCTIONS
 336
 337 # Only works for single-level arrays with no undef values. Thanks to perlfaq4.
 338 sub array_equal {
 339     my ($first_ref, $second_ref) = @_;
 340
 341     return 0 if scalar @{$first_ref} != scalar @{$second_ref};
 342
 343     my $length = scalar @{$first_ref};
 344     for (my $i = 0; $i < $length; $i++) {
 345         return 0 if $first_ref->[$i] ne $second_ref->[$i];
 346     }
 347
 348     return 1;
 349 }
 350
 351 sub error_flags {
 352     my ($message, $missing_flags_ref, $flag_renames_ref, $line) = @_;
 353
 354     # Get string value of qr//-escaped regexps and if requested rename them.
 355     my @missing_flags = map {
 356             $flag_renames_ref->{$_}
 357         } @{$missing_flags_ref};
 358
 359     my $flags = join ' ', @missing_flags;
 360     printf '%s (%s)%s %s',
 361            error_color($message, 'red'), $flags, error_color(':', 'yellow'),
 362            $line;
 363
 364     return;
 365 }
 366 sub error_non_verbose_build {
 367     my ($line) = @_;
 368
 369     printf '%s%s %s',
 370            error_color('NONVERBOSE BUILD', 'red'),
 371            error_color(':', 'yellow'),
 372            $line;
 373
 374     return;
 375 }
 376 sub error_invalid_cmake {
 377     my ($version) = @_;
 378
 379     printf "%s%s %s\n",
 380             error_color('INVALID CMAKE', 'red'),
 381             error_color(':', 'yellow'),
 382             $version;
 383
 384     return;
 385 }
 386 sub error_hardening_wrapper {
 387     printf "%s%s %s\n",
 388             error_color('HARDENING WRAPPER', 'red'),
 389             error_color(':', 'yellow'),
 390             'no checks possible, aborting';
 391
 392     return;
 393 }
 394 sub error_color {
 395     my ($message, $color) = @_;
 396
 397     if ($option_color) {
 398         return Term::ANSIColor::colored($message, $color);
 399     } else {
 400         return $message;
 401     }
 402 }
 403
 404 sub any_flags_used {
 405     my ($line, @flags) = @_;
 406
 407     foreach my $flag (@flags) {
 408         return 1 if $line =~ /$flag/;
 409     }
 410
 411     return 0;
 412 }
 413 sub all_flags_used {
 414     my ($line, $missing_flags_ref, @flags) = @_;
 415
 416     my @missing_flags = ();
 417     foreach my $flag (@flags) {
 418         if (not $line =~ /$flag/) {
 419             push @missing_flags, $flag;
 420         }
 421     }
 422
 423     return 1 if scalar @missing_flags == 0;
 424
 425     @{$missing_flags_ref} = @missing_flags;
 426     return 0;
 427 }
 428
 429 sub cppflags_fortify_broken {
 430     my ($line, $missing_flags) = @_;
 431
 432     # This doesn't take the position into account, but is a simple solution.
 433     # And if the build system tries to force -D_FORTIFY_SOURCE=0/1, something
 434     # is wrong anyway.
 435
 436     if (any_flags_used($line, @def_cppflags_fortify_bad)) {
 437         # $def_cppflags_fortify[0] must be -D_FORTIFY_SOURCE=2!
 438         push @{$missing_flags}, $def_cppflags_fortify[0];
 439         return 1;
 440     }
 441
 442     return 0;
 443 }
 444
 445 # Modifies $missing_flags_ref array.
 446 sub pic_pie_conflict {
 447     my ($line, $pie, $missing_flags_ref, @flags_pie) = @_;
 448
 449     return 0 if not $pie;
 450     return 0 if not any_flags_used($line, @def_ldflags_pic);
 451
 452     my %flags = map { $_ => 1 } @flags_pie;
 453
 454     # Remove all PIE flags from @missing_flags as they are not required with
 455     # -fPIC.
 456     my @result = grep {
 457         not exists $flags{$_}
 458     } @{$missing_flags_ref};
 459     @{$missing_flags_ref} = @result;
 460
 461     # We got a conflict when no flags are left, thus only PIE flags were
 462     # missing. If other flags were missing abort because the conflict is not
 463     # the problem.
 464     return scalar @result == 0;
 465 }
 466
 467 sub is_non_verbose_build {
 468     my ($line, $skip_ref, $input_ref, $line_offset, $line_count) = @_;
 469
 470     if ($line =~ /$libtool_regex/o) {
 471         # libtool's --silent hides the real compiler flags.
 472         if ($line =~ /\s--silent/) {
 473             return 1;
 474         # If --silent is not present, skip this line as some compiler flags
 475         # might be missing (e.g. -fPIE) which are handled correctly by libtool
 476         # internally. libtool displays the real compiler command on the next
 477         # line, so the flags are checked as usual.
 478         } else {
 479             ${$skip_ref} = 1;
 480             return 0;
 481         }
 482     }
 483
 484     if (not (index($line, 'checking if you want to see long compiling messages... no') == 0
 485                 or $line =~ /^\s*\[?(?:CC|CCLD|C\+\+|CXX|CXXLD|LD|LINK)\]?\s+(.+?)$/
 486                 or $line =~ /^\s*[Cc]ompiling\s+(.+?)(?:\.\.\.)?$/
 487                 or $line =~ /^\s*[Bb]uilding (?:program|shared library)\s+(.+?)$/
 488                 or $line =~ /^\s*\[[\d ]+%\] Building (?:C|CXX) object (.+?)$/)) {
 489         return 0;
 490     }
 491
 492     # False positives.
 493     #
 494     # C++ compiler setting.
 495     return 0 if $line =~ /^\s*C\+\+.+?:\s+(?:yes|no)\s*$/;
 496     return 0 if $line =~ /^\s*C\+\+ Library: stdc\+\+$/;
 497     # "Compiling" non binary files.
 498     return 0 if $line =~ /^\s*Compiling \S+\.(?:py|el)['"]?\s*(?:\.\.\.)?$/;
 499     # "Compiling" with no file name.
 500     if ($line =~ /^\s*[Cc]ompiling\s+(.+?)(?:\.\.\.)?$/) {
 501         # $file_extension_regex may need spaces around the filename.
 502         return 0 if not " $1 " =~ /$file_extension_regex/o;
 503     }
 504
 505     my $file = $1;
 506
 507     # On the first pass we only check if this line is verbose or not.
 508     return 1 if not defined $input_ref;
 509
 510     # Second pass, we have access to the next lines.
 511     ${$skip_ref} = 0;
 512
 513     # CMake and other build systems print the non-verbose messages also when
 514     # building verbose. If a compiler and the file name occurs in the next
 515     # lines, treat it as verbose build.
 516     if (defined $file) {
 517         # Get filename, we can't use the complete path as only parts of it are
 518         # used in the real compiler command.
 519         $file =~ m{/([^/\s]+)$};
 520         $file = $1;
 521
 522         for (my $i = 1; $i <= $line_count; $i++) {
 523             my $next_line = $input_ref->[$line_offset + $i];
 524             last unless defined $next_line;
 525
 526             if (index($next_line, $file) != -1 and $next_line =~ /$cc_regex/o) {
 527                 # Not a non-verbose line, but we still have to skip the
 528                 # current line as it doesn't contain any compiler commands.
 529                 ${$skip_ref} = 1;
 530                 return 0;
 531             }
 532         }
 533     }
 534
 535     return 1;
 536 }
 537
 538 # Remove @flags from $flag_refs_ref, uses $flag_renames_ref as reference.
 539 sub remove_flags {
 540     my ($flag_refs_ref, $flag_renames_ref, @flags) = @_;
 541
 542     my %removes = map { $_ => 1 } @flags;
 543     foreach my $flags (@{$flag_refs_ref}) {
 544         @{$flags} = grep {
 545             # Flag found as string.
 546             not exists $removes{$_}
 547             # Flag found as string representation of regexp.
 548                 and (not defined $flag_renames_ref->{$_}
 549                         or not exists $removes{$flag_renames_ref->{$_}})
 550         } @{$flags};
 551     }
 552
 553     return;
 554 }
 555
 556 # Modifies $flag_renames_ref hash.
 557 sub compile_flag_regexp {
 558     my ($flag_renames_ref, @flags) = @_;
 559
 560     my @result = ();
 561     foreach my $flag (@flags) {
 562         # Compile flag regexp for faster execution.
 563         my $regex = qr/\s$flag(?:\s|\\)/;
 564
 565         # Store flag name in replacement string for correct flags in messages
 566         # with qr//ed flag regexps.
 567         $flag_renames_ref->{$regex}
 568             = (exists $flag_renames_ref->{$flag})
 569                 ? $flag_renames_ref->{$flag}
 570                 : $flag;
 571
 572         push @result, $regex;
 573     }
 574     return @result;
 575 }
 576
 577 # Does any extension in @extensions exist in %{$extensions_ref}?
 578 sub extension_found {
 579     my ($extensions_ref, @extensions) = @_;
 580
 581     foreach my $extension (@extensions) {
 582         if (exists $extensions_ref->{$extension}) {
 583             return 1;
 584         }
 585     }
 586     return 0;
 587 }
 588
 589
 590 # MAIN
 591
 592 # Parse command line arguments.
 593 my $option_help             = 0;
 594 my $option_version          = 0;
 595 my $option_pie              = 0;
 596 my $option_bindnow          = 0;
 597 my @option_ignore_arch      = ();
 598 my @option_ignore_flag      = ();
 599 my @option_ignore_arch_flag = ();
 600 my @option_ignore_line      = ();
 601 my @option_ignore_arch_line = ();
 602 my $option_all              = 0;
 603 my $option_arch             = undef;
 604 my $option_buildd           = 0;
 605 my $option_debian           = 0;
 606    $option_color            = 0;
 607 if (not Getopt::Long::GetOptions(
 608             'help|h|?'           => \$option_help,
 609             'version'            => \$option_version,
 610             # Hardening options.
 611             'pie'                => \$option_pie,
 612             'bindnow'            => \$option_bindnow,
 613             'all'                => \$option_all,
 614             # Ignore.
 615             'ignore-arch=s'      => \@option_ignore_arch,
 616             'ignore-flag=s'      => \@option_ignore_flag,
 617             'ignore-arch-flag=s' => \@option_ignore_arch_flag,
 618             'ignore-line=s'      => \@option_ignore_line,
 619             'ignore-arch-line=s' => \@option_ignore_arch_line,
 620             # Misc.
 621             'color'              => \$option_color,
 622             'arch=s'             => \$option_arch,
 623             'buildd'             => \$option_buildd,
 624             'debian'             => \$option_debian,
 625         )) {
 626     require Pod::Usage;
 627     Pod::Usage::pod2usage(2);
 628 }
 629 if ($option_help) {
 630     require Pod::Usage;
 631     Pod::Usage::pod2usage(1);
 632 }
 633 if ($option_version) {
 634     print <<"EOF";
 635 blhc $VERSION  Copyright (C) 2012-2018  Simon Ruderich
 636
 637 This program is free software: you can redistribute it and/or modify
 638 it under the terms of the GNU General Public License as published by
 639 the Free Software Foundation, either version 3 of the License, or
 640 (at your option) any later version.
 641
 642 This program is distributed in the hope that it will be useful,
 643 but WITHOUT ANY WARRANTY; without even the implied warranty of
 644 MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 645 GNU General Public License for more details.
 646
 647 You should have received a copy of the GNU General Public License
 648 along with this program.  If not, see <http://www.gnu.org/licenses/>.
 649 EOF
 650     exit 0;
 651 }
 652
 653 # Arguments missing.
 654 if (scalar @ARGV == 0) {
 655     require Pod::Usage;
 656     Pod::Usage::pod2usage(2);
 657 }
 658
 659 # Don't load Term::ANSIColor in buildd mode because Term::ANSIColor is not
 660 # installed on Debian's buildds.
 661 if (not $option_buildd) {
 662     require Term::ANSIColor;
 663 }
 664
 665 if ($option_all) {
 666     $option_pie     = 1;
 667     $option_bindnow = 1;
 668 }
 669
 670 # Precompiled ignores for faster lookup.
 671 my %option_ignore_arch_flag = ();
 672 my %option_ignore_arch_line = ();
 673
 674 # Strip flags which should be ignored.
 675 if (scalar @option_ignore_flag > 0) {
 676     remove_flags(\@flag_refs, \%flag_renames, @option_ignore_flag);
 677 }
 678 # Same for arch specific ignore flags, but only prepare here.
 679 if (scalar @option_ignore_arch_flag > 0) {
 680     foreach my $ignore (@option_ignore_arch_flag) {
 681         my ($ignore_arch, $ignore_flag) = split /:/, $ignore, 2;
 682
 683         if (not $ignore_arch or not $ignore_flag) {
 684             printf STDERR 'Value "%s" invalid for option ignore-arch-flag '
 685                         . '("arch:flag" expected)' . "\n", $ignore;
 686             require Pod::Usage;
 687             Pod::Usage::pod2usage(2);
 688         }
 689
 690         push @{$option_ignore_arch_flag{$ignore_arch}}, $ignore_flag;
 691     }
 692 }
 693
 694 # Precompile all flag regexps. any_flags_used(), all_flags_used() get a lot
 695 # faster with this.
 696 foreach my $flags (@flag_refs_all) {
 697     @{$flags} = compile_flag_regexp(\%flag_renames, @{$flags});
 698 }
 699
 700 # Precompile ignore line regexps, also anchor at beginning and end of line.
 701 foreach my $ignore (@option_ignore_line) {
 702     $ignore = qr/^$ignore$/;
 703 }
 704 # Same for arch specific ignore lines.
 705 if (scalar @option_ignore_arch_line > 0) {
 706     foreach my $ignore (@option_ignore_arch_line) {
 707         my ($ignore_arch, $ignore_line) = split /:/, $ignore, 2;
 708
 709         if (not $ignore_arch or not $ignore_line) {
 710             printf STDERR 'Value "%s" invalid for option ignore-arch-line '
 711                         . '("arch:line" expected)' . "\n", $ignore;
 712             require Pod::Usage;
 713             Pod::Usage::pod2usage(2);
 714         }
 715
 716         push @{$option_ignore_arch_line{$ignore_arch}}, qr/^$ignore_line$/;
 717     }
 718 }
 719
 720 # Final exit code.
 721 my $exit = 0;
 722
 723 FILE:
 724 foreach my $file (@ARGV) {
 725     print "checking '$file'...\n" if scalar @ARGV > 1;
 726
 727     -f $file or die "No such file: $file";
 728
 729     open my $fh, '<', $file or die $!;
 730
 731     # Architecture of this file.
 732     my $arch = $option_arch;
 733
 734     # Hardening options. Not all architectures support all hardening options.
 735     my $harden_format  = 1;
 736     my $harden_fortify = 1;
 737     my $harden_stack   = 1;
 738     my $harden_stack_strong = 1;
 739     my $harden_relro   = 1;
 740     my $harden_bindnow = $option_bindnow; # defaults to 0
 741     my $harden_pie     = $option_pie;     # defaults to 0
 742
 743     # Does this build log use ada? Ada also uses gcc as compiler but uses
 744     # different CFLAGS. But only perform ada checks if an ada compiler is used
 745     # for performance reasons.
 746     my $ada = 0;
 747     # Fortran also requires different CFLAGS.
 748     my $fortran = 0;
 749
 750     # Number of parallel jobs to prevent false positives when detecting
 751     # non-verbose builds. As not all jobs declare the number of parallel jobs
 752     # use a large enough default.
 753     my $parallel = 10;
 754
 755     # Don't check for PIE flags if automatically applied by the compiler. Only
 756     # used in buildd and Debian mode.
 757     my $disable_harden_pie = 0;
 758     if ($option_debian) {
 759         $disable_harden_pie = 1;
 760     }
 761
 762     while (my $line = <$fh>) {
 763         # Detect architecture automatically unless overridden. For buildd logs
 764         # only, doesn't use the dpkg-buildpackage header. Necessary to ignore
 765         # build logs which aren't built (wrong architecture, build error,
 766         # etc.).
 767         if (not $arch) {
 768             if (index($line, 'Build Architecture: ') == 0) {
 769                 $arch = substr $line, 20, -1; # -1 to ignore '\n' at the end
 770             # For old logs (sbuild << 0.63.0-1).
 771             } elsif (index($line, 'Architecture: ') == 0) {
 772                 $arch = substr $line, 14, -1; # -1 to ignore '\n' at the end
 773             }
 774         }
 775
 776         # dpkg-buildflags only provides hardening flags since 1.16.1, don't
 777         # check for hardening flags in buildd mode if an older dpkg-dev is
 778         # used. Default flags (-g -O2) are still checked.
 779         #
 780         # Packages which were built before 1.16.1 but used their own hardening
 781         # flags are not checked.
 782         #
 783         # Strong stack protector is used since dpkg 1.17.11.
 784         #
 785         # Recent GCC versions automatically use PIE (only on supported
 786         # architectures) and dpkg respects this properly since 1.18.15 and
 787         # doesn't pass PIE flags manually.
 788         if ($option_buildd
 789                 and index($line, 'Toolchain package versions: ') == 0) {
 790             require Dpkg::Version;
 791
 792             my $disable = 1;
 793             my $disable_strong = 1;
 794
 795             if ($line =~ /\bdpkg-dev_(\S+)/) {
 796                 if (Dpkg::Version::version_compare($1, '1.16.1') >= 0) {
 797                     $disable = 0;
 798                 }
 799                 if (Dpkg::Version::version_compare($1, '1.17.11') >= 0) {
 800                     $disable_strong = 0;
 801                 }
 802                 if (Dpkg::Version::version_compare($1, '1.18.15') >= 0) {
 803                     $disable_harden_pie = 1;
 804                 }
 805             }
 806
 807             if ($disable) {
 808                 $harden_format  = 0;
 809                 $harden_fortify = 0;
 810                 $harden_stack   = 0;
 811                 $harden_relro   = 0;
 812                 $harden_bindnow = 0;
 813                 $harden_pie     = 0;
 814             }
 815             if ($disable_strong) {
 816                 $harden_stack_strong = 0;
 817             }
 818         }
 819
 820         # The following two versions of CMake in Debian obeyed CPPFLAGS, but
 821         # this was later dropped because upstream rejected the patch. Thus
 822         # build logs with these versions will have fortify hardening flags
 823         # enabled, even though they may be not correctly set and are missing
 824         # when build with later CMake versions. Thanks to Aron Xu for letting
 825         # me know.
 826         if (index($line, 'Package versions: ') == 0
 827                 and $line =~ /\bcmake_(\S+)/
 828                 and ($1 eq '2.8.7-1' or $1 eq '2.8.7-2')) {
 829             if (not $option_buildd) {
 830                 error_invalid_cmake($1);
 831                 $exit |= $exit_code{invalid_cmake};
 832             } else {
 833                 print "$buildd_tag{invalid_cmake}|$1|\n";
 834             }
 835         }
 836
 837         # Debian's build daemons use "Filtered Build-Depends:" (or just
 838         # "Build-Depends:" in older versions) for the build dependencies, but
 839         # pbuilder uses "Depends:"; support both.
 840         if (index($line, 'Filtered Build-Depends: ') == 0
 841                 or index($line, 'Build-Depends: ') == 0
 842                 or index($line, 'Depends: ') == 0) {
 843             # If hardening wrapper is used (wraps calls to gcc and adds
 844             # hardening flags automatically) we can't perform any checks,
 845             # abort.
 846             if ($line =~ /\bhardening-wrapper\b/) {
 847                 if (not $option_buildd) {
 848                     error_hardening_wrapper();
 849                     $exit |= $exit_code{hardening_wrapper};
 850                 } else {
 851                     print "$buildd_tag{hardening_wrapper}||\n";
 852                 }
 853                 next FILE;
 854             }
 855
 856             # Ada compiler.
 857             if ($line =~ /\bgnat\b/) {
 858                 $ada = 1;
 859             }
 860             # Fortran compiler.
 861             if ($line =~ /\bgfortran\b/) {
 862                 $fortran = 1;
 863             }
 864         }
 865
 866         # This flags is not always available, but if it is use it.
 867         if ($line =~ /^DEB_BUILD_OPTIONS=.*\bparallel=(\d+)/) {
 868             $parallel = $1;
 869         }
 870
 871         # We skip over unimportant lines at the beginning of the log to
 872         # prevent false positives.
 873         last if index($line, 'dpkg-buildpackage: ') == 0;
 874     }
 875
 876     # Input lines, contain only the lines with compiler commands.
 877     my @input = ();
 878     # Non-verbose lines in the input. Used to reduce calls to
 879     # is_non_verbose_build() (which is quite slow) in the second loop when
 880     # it's already clear if a line is non-verbose or not.
 881     my @input_nonverbose = ();
 882
 883     my $continuation = 0;
 884     my $complete_line = undef;
 885     my $non_verbose;
 886     while (my $line = <$fh>) {
 887         # And stop at the end of the build log. Package details (reported by
 888         # the buildd logs) are not important for us. This also prevents false
 889         # positives.
 890         last if index($line, 'Build finished at ') == 0
 891                 and $line =~ /^Build finished at \d{8}-\d{4}$/;
 892
 893         if (not $continuation) {
 894             $non_verbose = 0;
 895         }
 896
 897         # Detect architecture automatically unless overridden.
 898         if (not $arch
 899                 and index($line, 'dpkg-buildpackage: host architecture ') == 0) {
 900             $arch = substr $line, 37, -1; # -1 to ignore '\n' at the end
 901
 902             # Old buildd logs use e.g. "host architecture is alpha", remove
 903             # the "is", otherwise debarch_to_debtriplet() will not detect the
 904             # architecture.
 905             if (index($arch, 'is ') == 0) {
 906                 $arch = substr $arch, 3;
 907             }
 908         }
 909
 910         next if $line =~ /^\s*#/;
 911         # Ignore compiler warnings for now.
 912         next if $line =~ /$warning_regex/o;
 913
 914         if (not $option_buildd and index($line, "\033") != -1) { # \033 = esc
 915             # Remove all ANSI color sequences which are sometimes used in
 916             # non-verbose builds.
 917             $line = Term::ANSIColor::colorstrip($line);
 918             # Also strip '\0xf' (delete previous character), used by Elinks'
 919             # build system.
 920             $line =~ s/\x0f//g;
 921             # And "ESC(B" which seems to be used on armhf and hurd (not sure
 922             # what it does).
 923             $line =~ s/\033\(B//g;
 924         }
 925
 926         # Check if this line indicates a non verbose build.
 927         my $skip = 0;
 928         $non_verbose |= is_non_verbose_build($line, \$skip);
 929         next if $skip;
 930
 931         # One line may contain multiple commands (";"). Treat each one as
 932         # single line. parse_line() is slow, only use it when necessary.
 933         my @line = (index($line, ';') == -1)
 934                  ? ($line)
 935                  : map {
 936                        # Ensure newline at the line end - necessary for
 937                        # correct parsing later.
 938                        $_ =~ s/\s+$//;
 939                        $_ .= "\n";
 940                    } Text::ParseWords::parse_line(';', 1, $line);
 941         foreach my $line (@line) {
 942             if ($continuation) {
 943                 $continuation = 0;
 944
 945                 # Join lines, but leave the "\" in place so it's clear where
 946                 # the original line break was.
 947                 chomp $complete_line;
 948                 $complete_line .= ' ' . $line;
 949             }
 950             # Line continuation, line ends with "\".
 951             if ($line =~ /\\$/) {
 952                 $continuation = 1;
 953                 # Start line continuation.
 954                 if (not defined $complete_line) {
 955                     $complete_line = $line;
 956                 }
 957                 next;
 958             }
 959
 960             # Use the complete line if a line continuation occurred.
 961             if (defined $complete_line) {
 962                 $line = $complete_line;
 963                 $complete_line = undef;
 964             }
 965
 966             # Ignore lines with no compiler commands.
 967             next if not $non_verbose
 968                     and not $line =~ /$cc_regex_normal/o;
 969             # Ignore lines with no filenames with extensions. May miss some
 970             # non-verbose builds (e.g. "gcc -o test" [sic!]), but shouldn't be
 971             # a problem as the log will most likely contain other non-verbose
 972             # commands which are detected.
 973             next if not $non_verbose
 974                     and not $line =~ /$file_extension_regex/o;
 975
 976             # Ignore false positives.
 977             #
 978             # `./configure` output.
 979             next if not $non_verbose
 980                     and $line =~ /^(?:checking|[Cc]onfigure:) /;
 981             next if $line =~ /^\s*(?:Host\s+)?(?:C(?:\+\+)?\s+)?
 982                                 [Cc]ompiler[\s.]*:?\s+
 983                                 /x;
 984             next if $line =~ m{^\s*(?:-\s)?(?:HOST_)?(?:CC|CXX)
 985                                 \s*=\s*$cc_regex_full
 986                                 # optional compiler options, don't allow
 987                                 # "everything" here to prevent false negatives
 988                                 \s*(?:\s-\S+)*\s*$}xo;
 989             # `moc-qt4`/`moc-qt5` contain '-I.../linux-g++' in their command
 990             # line (or similar for other architectures) which gets recognized
 991             # as a compiler line, but `moc-qt*` is only a preprocessor for Qt
 992             # C++ files. No hardening flags are relevant during this step,
 993             # thus ignore `moc-qt*` lines. The resulting files will be
 994             # compiled in a separate step (and therefore checked).
 995             next if $line =~ m{^\S+/bin/moc(?:-qt[45])?
 996                                \s.+\s
 997                                -I\S+/mkspecs/[a-z]+-g\++(?:-64)?
 998                                \s}x;
 999             # Ignore false positives when the line contains only CC=gcc but no
1000             # other gcc command.
1001             if ($line =~ /(.*)CC=$cc_regex_full(.*)/o) {
1002                 my $before = $1;
1003                 my $after  = $2;
1004                 next if     not $before =~ /$cc_regex_normal/o
1005                         and not $after  =~ /$cc_regex_normal/o;
1006             }
1007             # Ignore false positives caused by gcc -v. It outputs a line
1008             # looking like a normal compiler line but which is sometimes
1009             # missing hardening flags, although the normal compiler line
1010             # contains them.
1011             next if $line =~ m{^\s+/usr/lib/gcc/$cc_regex_full_prefix/
1012                                    [0-9.]+/cc1(?:plus)?}xo;
1013             # Ignore false positive with `rm` which may remove files which
1014             # look like a compiler executable thus causing the line to be
1015             # treated as a normal compiler line.
1016             next if $line =~ m{^\s*rm\s+};
1017             # Some build systems emit "gcc > file".
1018             next if $line =~ m{$cc_regex_normal\s*>\s*\S+};
1019
1020             # Check if additional hardening options were used. Used to ensure
1021             # they are used for the complete build.
1022             $harden_pie     = 1 if any_flags_used($line, @def_cflags_pie,
1023                                                          @def_ldflags_pie);
1024             $harden_bindnow = 1 if any_flags_used($line, @def_ldflags_bindnow);
1025
1026             push @input, $line;
1027             push @input_nonverbose, $non_verbose;
1028         }
1029     }
1030
1031     close $fh or die $!;
1032
1033     # Ignore arch if requested.
1034     if (scalar @option_ignore_arch > 0 and $arch) {
1035         foreach my $ignore (@option_ignore_arch) {
1036             if ($arch eq $ignore) {
1037                 print "ignoring architecture '$arch'\n";
1038                 next FILE;
1039             }
1040         }
1041     }
1042
1043     if (scalar @input == 0) {
1044         if (not $option_buildd) {
1045             print "No compiler commands!\n";
1046             $exit |= $exit_code{no_compiler_commands};
1047         } else {
1048             print "$buildd_tag{no_compiler_commands}||\n";
1049         }
1050         next FILE;
1051     }
1052
1053     if ($option_buildd) {
1054         $statistics{commands} += scalar @input;
1055     }
1056
1057     # Option or auto detected.
1058     if ($arch) {
1059         # The following was partially copied from dpkg-dev 1.18.24
1060         # (/usr/share/perl5/Dpkg/Vendor/Debian.pm, _add_hardening_flags()),
1061         # copyright Raphaël Hertzog <hertzog@debian.org>, Kees Cook
1062         # <kees@debian.org>, Canonical, Ltd. licensed under GPL version 2 or
1063         # later. Keep it in sync.
1064
1065         require Dpkg::Arch;
1066         my ($os, $cpu);
1067         # Recent dpkg versions use a quadruplet for arch. Support both.
1068         eval {
1069             (undef, undef, $os, $cpu) = Dpkg::Arch::debarch_to_debtuple($arch);
1070         };
1071         if ($@) {
1072             (undef, $os, $cpu) = Dpkg::Arch::debarch_to_debtriplet($arch);
1073         }
1074
1075         my %builtin_pie_arch = map { $_ => 1 } qw(
1076             amd64 arm64 armel armhf i386 kfreebsd-amd64 kfreebsd-i386
1077             mips mipsel mips64el ppc64el s390x sparc sparc64
1078         );
1079
1080         # Disable unsupported hardening options.
1081         if ($os !~ /^(?:linux|kfreebsd|knetbsd|hurd)$/
1082                 or $cpu =~ /^(?:hppa|avr32)$/) {
1083             $harden_pie = 0;
1084         }
1085         if ($cpu =~ /^(?:ia64|alpha|hppa|nios2)$/ or $arch eq 'arm') {
1086             $harden_stack = 0;
1087             $harden_stack_strong = 0;
1088         }
1089         if ($cpu =~ /^(?:ia64|hppa|avr32)$/) {
1090             $harden_relro   = 0;
1091             $harden_bindnow = 0;
1092         }
1093
1094         if ($disable_harden_pie and exists $builtin_pie_arch{$arch}) {
1095             $harden_pie = 0;
1096         }
1097     }
1098
1099     # Default values.
1100     my @cflags   = @def_cflags;
1101     my @cxxflags = @def_cxxflags;
1102     my @cppflags = @def_cppflags;
1103     my @ldflags  = @def_ldflags;
1104     # Check the specified hardening options, same order as dpkg-buildflags.
1105     if ($harden_pie) {
1106         @cflags   = (@cflags,   @def_cflags_pie);
1107         @cxxflags = (@cxxflags, @def_cflags_pie);
1108         @ldflags  = (@ldflags,  @def_ldflags_pie);
1109     }
1110     if ($harden_stack_strong) {
1111         @cflags   = (@cflags,   @def_cflags_stack_strong);
1112         @cxxflags = (@cxxflags, @def_cflags_stack_strong);
1113     } elsif ($harden_stack) {
1114         @cflags   = (@cflags,   @def_cflags_stack);
1115         @cxxflags = (@cxxflags, @def_cflags_stack);
1116     }
1117     if ($harden_fortify) {
1118         @cflags   = (@cflags,   @def_cflags_fortify);
1119         @cxxflags = (@cxxflags, @def_cflags_fortify);
1120         @cppflags = (@cppflags, @def_cppflags_fortify);
1121     }
1122     if ($harden_format) {
1123         @cflags   = (@cflags,   @def_cflags_format);
1124         @cxxflags = (@cxxflags, @def_cflags_format);
1125     }
1126     if ($harden_relro) {
1127         @ldflags = (@ldflags, @def_ldflags_relro);
1128     }
1129     if ($harden_bindnow) {
1130         @ldflags = (@ldflags, @def_ldflags_bindnow);
1131     }
1132
1133     # Ada doesn't support format hardening flags, see #680117 for more
1134     # information. Same for fortran. Filter them out if either language is
1135     # used.
1136     my @cflags_backup;
1137     my @cflags_noformat;
1138     if (($ada or $fortran) and $harden_format) {
1139         @cflags_noformat = grep {
1140             my $ok = 1;
1141             foreach my $flag (@def_cflags_format) {
1142                 $ok = 0 if $_ eq $flag;
1143             }
1144             $ok;
1145         } @cflags;
1146     }
1147
1148     # Hack to fix cppflags_fortify_broken() if --ignore-flag
1149     # -D_FORTIFY_SOURCE=2 is used to ignore missing fortification. Only works
1150     # as long as @def_cppflags_fortify contains only one variable.
1151     if (scalar @def_cppflags_fortify == 0) {
1152         $harden_fortify = 0;
1153     }
1154
1155     # Ignore flags for this arch if requested.
1156     if ($arch and exists $option_ignore_arch_flag{$arch}) {
1157         my @local_flag_refs = (\@cflags, \@cxxflags, \@cppflags, \@ldflags);
1158
1159         remove_flags(\@local_flag_refs,
1160                      \%flag_renames,
1161                      @{$option_ignore_arch_flag{$arch}});
1162     }
1163
1164     my @ignore_line = @option_ignore_line;
1165     # Ignore lines for this arch if requested.
1166     if ($arch and exists $option_ignore_arch_line{$arch}) {
1167         @ignore_line = (@ignore_line, @{$option_ignore_arch_line{$arch}});
1168     }
1169
1170 LINE:
1171     for (my $i = 0; $i < scalar @input; $i++) {
1172         my $line = $input[$i];
1173
1174         # Ignore line if requested.
1175         foreach my $ignore (@ignore_line) {
1176             next LINE if $line =~ /$ignore/;
1177         }
1178
1179         my $skip = 0;
1180         if ($input_nonverbose[$i]
1181                 and is_non_verbose_build($line, \$skip,
1182                                          \@input, $i, $parallel)) {
1183             if (not $option_buildd) {
1184                 error_non_verbose_build($line);
1185                 $exit |= $exit_code{non_verbose_build};
1186             } else {
1187                 $statistics{commands_nonverbose}++;
1188             }
1189             next;
1190         }
1191         # Even if it's a verbose build, we might have to skip this line (see
1192         # is_non_verbose_build()).
1193         next if $skip;
1194
1195         my $orig_line = $line;
1196
1197         # Remove everything until and including the compiler command. Makes
1198         # checks easier and faster.
1199         $line =~ s/^.*?$cc_regex//o;
1200         # "([...] test.c)" is not detected as 'test.c' - fix this by removing
1201         # the brace and similar characters at the line end.
1202         $line =~ s/['")]+$//;
1203
1204         # Skip unnecessary tests when only preprocessing.
1205         my $flag_preprocess = 0;
1206
1207         my $dependency = 0;
1208         my $preprocess = 0;
1209         my $compile    = 0;
1210         my $link       = 0;
1211
1212         # Preprocess, compile, assemble.
1213         if ($line =~ /\s(-E|-S|-c)\b/) {
1214             $preprocess      = 1;
1215             $flag_preprocess = 1 if $1 eq '-E';
1216             $compile         = 1 if $1 eq '-S' or $1 eq '-c';
1217         # Dependency generation for Makefiles. The other flags (-MF -MG -MP
1218         # -MT -MQ) are always used with -M/-MM.
1219         } elsif ($line =~ /\s(?:-M|-MM)\b/) {
1220             $dependency = 1;
1221         # Otherwise assume we are linking.
1222         } else {
1223             $link = 1;
1224         }
1225
1226         # -MD/-MMD also cause dependency generation, but they don't imply -E!
1227         if ($line =~ /\s(?:-MD|-MMD)\b/) {
1228             $dependency      = 0;
1229             $flag_preprocess = 0;
1230         }
1231
1232         # Dependency generation for Makefiles, no preprocessing or other flags
1233         # needed.
1234         next if $dependency;
1235
1236         # Get all file extensions on this line.
1237         my @extensions = $line =~ /$file_extension_regex/go;
1238         # Ignore all unknown extensions to speedup the search below.
1239         @extensions = grep { exists $extension{$_} } @extensions;
1240
1241         # These file types don't require preprocessing.
1242         if (extension_found(\%extensions_no_preprocess, @extensions)) {
1243             $preprocess = 0;
1244         }
1245         # These file types require preprocessing.
1246         if (extension_found(\%extensions_preprocess, @extensions)) {
1247             # Prevent false positives with "libtool: link: g++ -include test.h
1248             # .." compiler lines.
1249             if ($orig_line !~ /$libtool_link_regex/o) {
1250                 $preprocess = 1;
1251             }
1252         }
1253
1254         if (not $flag_preprocess) {
1255             # If there are source files then it's compiling/linking in one
1256             # step and we must check both. We only check for source files
1257             # here, because header files cause too many false positives.
1258             if (extension_found(\%extensions_compile_link, @extensions)) {
1259                 # Assembly files don't need CFLAGS.
1260                 if (not extension_found(\%extensions_compile, @extensions)
1261                         and extension_found(\%extensions_no_compile, @extensions)) {
1262                     $compile = 0;
1263                 # But the rest does.
1264                 } else {
1265                     $compile = 1;
1266                 }
1267             # No compilable extensions found, either linking or compiling
1268             # header flags.
1269             #
1270             # If there are also no object files we are just compiling headers
1271             # (.h -> .h.gch). Don't check for linker flags in this case. Due
1272             # to our liberal checks for compiler lines, this also reduces the
1273             # number of false positives considerably.
1274             } elsif ($link
1275                     and not extension_found(\%extensions_object, @extensions)) {
1276                 $link = 0;
1277             }
1278         }
1279
1280         my $compile_cpp = 0;
1281         my $restore_cflags = 0;
1282         # Assume CXXFLAGS are required when a C++ file is specified in the
1283         # compiler line.
1284         if ($compile
1285                 and extension_found(\%extensions_compile_cpp, @extensions)) {
1286             $compile     = 0;
1287             $compile_cpp = 1;
1288         # Ada needs special CFLAGS, use them if only ada files are compiled.
1289         } elsif ($ada
1290                 and extension_found(\%extensions_ada, @extensions)) {
1291             $restore_cflags = 1;
1292             $preprocess = 0; # Ada uses no CPPFLAGS
1293             @cflags_backup = @cflags;
1294             @cflags        = @cflags_noformat;
1295         # Same for fortran.
1296         } elsif ($fortran
1297                 and extension_found(\%extensions_fortran, @extensions)) {
1298             $restore_cflags = 1;
1299             @cflags_backup = @cflags;
1300             @cflags        = @cflags_noformat;
1301         }
1302
1303         if ($option_buildd) {
1304             $statistics{preprocess}++  if $preprocess;
1305             $statistics{compile}++     if $compile;
1306             $statistics{compile_cpp}++ if $compile_cpp;
1307             $statistics{link}++        if $link;
1308         }
1309
1310         # Check if there are flags indicating a debug build. If that's true,
1311         # skip the check for -O2. This prevents fortification, but that's fine
1312         # for a debug build.
1313         if (any_flags_used($line, @def_cflags_debug)) {
1314             remove_flags([\@cflags], \%flag_renames, $def_cflags[1]);
1315             remove_flags([\@cppflags], \%flag_renames, $def_cppflags_fortify[0]);
1316         }
1317
1318         # Check hardening flags.
1319         my @missing;
1320         if ($compile and not all_flags_used($line, \@missing, @cflags)
1321                 # Libraries linked with -fPIC don't have to (and can't) be
1322                 # linked with -fPIE as well. It's no error if only PIE flags
1323                 # are missing.
1324                 and not pic_pie_conflict($line, $harden_pie, \@missing, @def_cflags_pie)
1325                 # Assume dpkg-buildflags returns the correct flags.
1326                 and index($line, '`dpkg-buildflags --get CFLAGS`') == -1) {
1327             if (not $option_buildd) {
1328                 error_flags('CFLAGS missing', \@missing, \%flag_renames, $input[$i]);
1329                 $exit |= $exit_code{flags_missing};
1330             } else {
1331                 $statistics{compile_missing}++;
1332             }
1333         } elsif ($compile_cpp and not all_flags_used($line, \@missing, @cflags)
1334                 # Libraries linked with -fPIC don't have to (and can't) be
1335                 # linked with -fPIE as well. It's no error if only PIE flags
1336                 # are missing.
1337                 and not pic_pie_conflict($line, $harden_pie, \@missing, @def_cflags_pie)
1338                 # Assume dpkg-buildflags returns the correct flags.
1339                 and index($line, '`dpkg-buildflags --get CXXFLAGS`') == -1) {
1340             if (not $option_buildd) {
1341                 error_flags('CXXFLAGS missing', \@missing, \%flag_renames, $input[$i]);
1342                 $exit |= $exit_code{flags_missing};
1343             } else {
1344                 $statistics{compile_cpp_missing}++;
1345             }
1346         }
1347         if ($preprocess
1348                 and (not all_flags_used($line, \@missing, @cppflags)
1349                     # The fortify flag might be overwritten, detect that.
1350                      or ($harden_fortify
1351                          and cppflags_fortify_broken($line, \@missing)))
1352                 # Assume dpkg-buildflags returns the correct flags.
1353                 and index($line, '`dpkg-buildflags --get CPPFLAGS`') == -1) {
1354             if (not $option_buildd) {
1355                 error_flags('CPPFLAGS missing', \@missing, \%flag_renames, $input[$i]);
1356                 $exit |= $exit_code{flags_missing};
1357             } else {
1358                 $statistics{preprocess_missing}++;
1359             }
1360         }
1361         if ($link and not all_flags_used($line, \@missing, @ldflags)
1362                 # Same here, -fPIC conflicts with -fPIE.
1363                 and not pic_pie_conflict($line, $harden_pie, \@missing, @def_ldflags_pie)
1364                 # Assume dpkg-buildflags returns the correct flags.
1365                 and index($line, '`dpkg-buildflags --get LDFLAGS`') == -1) {
1366             if (not $option_buildd) {
1367                 error_flags('LDFLAGS missing', \@missing, \%flag_renames, $input[$i]);
1368                 $exit |= $exit_code{flags_missing};
1369             } else {
1370                 $statistics{link_missing}++;
1371             }
1372         }
1373
1374         # Restore normal CFLAGS.
1375         if ($restore_cflags) {
1376             @cflags = @cflags_backup;
1377         }
1378     }
1379 }
1380
1381 # Print statistics for buildd mode, only output in this mode.
1382 if ($option_buildd) {
1383     my @warning;
1384
1385     if ($statistics{preprocess_missing}) {
1386         push @warning, sprintf 'CPPFLAGS %d (of %d)',
1387                                $statistics{preprocess_missing},
1388                                $statistics{preprocess};
1389     }
1390     if ($statistics{compile_missing}) {
1391         push @warning, sprintf 'CFLAGS %d (of %d)',
1392                                $statistics{compile_missing},
1393                                $statistics{compile};
1394     }
1395     if ($statistics{compile_cpp_missing}) {
1396         push @warning, sprintf 'CXXFLAGS %d (of %d)',
1397                                $statistics{compile_cpp_missing},
1398                                $statistics{compile_cpp};
1399     }
1400     if ($statistics{link_missing}) {
1401         push @warning, sprintf 'LDFLAGS %d (of %d)',
1402                                $statistics{link_missing},
1403                                $statistics{link};
1404     }
1405     if (scalar @warning) {
1406         local $" = ', '; # array join string
1407         print "$buildd_tag{flags_missing}|@warning missing|\n";
1408     }
1409
1410     if ($statistics{commands_nonverbose}) {
1411         printf "$buildd_tag{non_verbose_build}|%d (of %d) hidden|\n",
1412                $statistics{commands_nonverbose},
1413                $statistics{commands},
1414     }
1415 }
1416
1417
1418 exit $exit;
1419
1420
1421 __END__
1422
1423 =head1 NAME
1424
1425 blhc - build log hardening check, checks build logs for missing hardening flags
1426
1427 =head1 SYNOPSIS
1428
1429 B<blhc> [I<options>] I<< <dpkg-buildpackage build log file>.. >>
1430
1431 =head1 DESCRIPTION
1432
1433 blhc is a small tool which checks build logs for missing hardening flags. It's
1434 licensed under the GPL 3 or later.
1435
1436 It's designed to check build logs generated by Debian's dpkg-buildpackage (or
1437 tools using dpkg-buildpackage like pbuilder or sbuild (which is used for the
1438 official buildd build logs)) to help maintainers detect missing hardening
1439 flags in their packages.
1440
1441 Only gcc is detected as compiler at the moment. If other compilers support
1442 hardening flags as well, please report them.
1443
1444 If there's no output, no flags are missing and the build log is fine.
1445
1446 See F<README> for details about performed checks, auto-detection and
1447 limitations.
1448
1449 =head1 OPTIONS
1450
1451 =over 8
1452
1453 =item B<--all>
1454
1455 Force check for all +all (+pie, +bindnow) hardening flags. By default it's
1456 auto detected.
1457
1458 =item B<--arch> I<architecture>
1459
1460 Set the specific architecture (e.g. amd64, armel, etc.), automatically
1461 disables hardening flags not available on this architecture. Is detected
1462 automatically if dpkg-buildpackage is used.
1463
1464 =item B<--bindnow>
1465
1466 Force check for all +bindnow hardening flags. By default it's auto detected.
1467
1468 =item B<--buildd>
1469
1470 Special mode for buildds when automatically parsing log files. The following
1471 changes are in effect:
1472
1473 =over 2
1474
1475 =item *
1476
1477 Print tags instead of normal warnings, see L</"BUILDD TAGS"> for a list of
1478 possible tags.
1479
1480 =item *
1481
1482 Don't check hardening flags in old log files (if dpkg-dev << 1.16.1 is
1483 detected).
1484
1485 =item *
1486
1487 Don't require Term::ANSIColor.
1488
1489 =item *
1490
1491 Return exit code 0, unless there was a error (-I, -W messages don't count as
1492 error).
1493
1494 =back
1495
1496 =item B<--debian>
1497
1498 Apply Debian-specific settings. At the moment this only disables checking for
1499 PIE which is automatically applied by Debian's GCC and no longer requires a
1500 compiler command line argument.
1501
1502 =item B<--color>
1503
1504 Use colored (ANSI) output for warning messages.
1505
1506 =item B<--ignore-arch> I<arch>
1507
1508 Ignore build logs from architectures matching I<arch>. I<arch> is a string.
1509
1510 Used to prevent false positives. This option can be specified multiple times.
1511
1512 =item B<--ignore-arch-flag> I<arch>:I<flag>
1513
1514 Like B<--ignore-flag>, but only ignore flag on I<arch>.
1515
1516 =item B<--ignore-arch-line> I<arch>:I<line>
1517
1518 Like B<--ignore-line>, but only ignore line on I<arch>.
1519
1520 =item B<--ignore-flag> I<flag>
1521
1522 Don't print an error when the specific flag is missing in a compiler line.
1523 I<flag> is a string.
1524
1525 Used to prevent false positives. This option can be specified multiple times.
1526
1527 =item B<--ignore-line> I<regex>
1528
1529 Ignore lines matching the given Perl regex. I<regex> is automatically anchored
1530 at the beginning and end of the line to prevent false negatives.
1531
1532 B<NOTE>: Not the input lines are checked, but the lines which are displayed in
1533 warnings (which have line continuation resolved).
1534
1535 Used to prevent false positives. This option can be specified multiple times.
1536
1537 =item B<--pie>
1538
1539 Force check for all +pie hardening flags. By default it's auto detected.
1540
1541 =item B<-h -? --help>
1542
1543 Print available options.
1544
1545 =item B<--version>
1546
1547 Print version number and license.
1548
1549 =back
1550
1551 Auto detection for B<--pie> and B<--bindnow> only works if at least one
1552 command uses the required hardening flag (e.g. -fPIE). Then it's required for
1553 all other commands as well.
1554
1555 =head1 EXAMPLES
1556
1557 Normal usage, parse a single log file.
1558
1559     blhc path/to/log/file
1560
1561 If there's no output, no flags are missing and the build log is fine.
1562
1563 Parse multiple log files. The exit code is ORed over all files.
1564
1565     blhc path/to/directory/with/log/files/*
1566
1567 Don't treat missing C<-g> as error:
1568
1569     blhc --ignore-flag -g path/to/log/file
1570
1571 Don't treat missing C<-pie> on kfreebsd-amd64 as error:
1572
1573     blhc --ignore-arch-flag kfreebsd-amd64:-pie path/to/log/file
1574
1575 Ignore lines consisting exactly of C<./script gcc file> which would cause a
1576 false positive.
1577
1578     blhc --ignore-line '\./script gcc file' path/to/log/file
1579
1580 Ignore lines matching C<./script gcc file> somewhere in the line.
1581
1582     blhc --ignore-line '.*\./script gcc file.*' path/to/log/file
1583
1584 Use blhc with pbuilder.
1585
1586     pbuilder path/to/package.dsc | tee path/log/file
1587     blhc path/to/file || echo flags missing
1588
1589 Assume this build log was created on a Debian system and thus don't warn about
1590 missing PIE flags if the current architecture injects them automatically (this
1591 is enabled in buildd mode per default). C<--arch> is necessary if the build
1592 log contains no architecture information as written by dpkg-buildpackage.
1593
1594     blhc --debian --all --arch=amd64 path/to/log/file
1595
1596 =head1 BUILDD TAGS
1597
1598 The following tags are used in I<--buildd> mode. In braces the additional data
1599 which is displayed.
1600
1601 =over 2
1602
1603 =item B<I-hardening-wrapper-used>
1604
1605 The package uses hardening-wrapper which intercepts calls to gcc and adds
1606 hardening flags. The build log doesn't contain any hardening flags and thus
1607 can't be checked by blhc.
1608
1609 =item B<W-compiler-flags-hidden> (summary of hidden lines)
1610
1611 Build log contains lines which hide the real compiler flags. For example:
1612
1613     CC test-a.c
1614     CC test-b.c
1615     CC test-c.c
1616     LD test
1617
1618 Most of the time either C<export V=1> or C<export verbose=1> in
1619 F<debian/rules> fixes builds with hidden compiler flags. Sometimes C<.SILENT>
1620 in a F<Makefile> must be removed. And as last resort the F<Makefile> must be
1621 patched to remove the C<@>s hiding the real compiler commands.
1622
1623 =item B<W-dpkg-buildflags-missing> (summary of missing flags)
1624
1625 CPPFLAGS, CFLAGS, CXXFLAGS, LDFLAGS missing.
1626
1627 =item B<I-invalid-cmake-used> (version)
1628
1629 By default CMake ignores CPPFLAGS thus missing those hardening flags. Debian
1630 patched CMake in versions 2.8.7-1 and 2.8.7-2 to respect CPPFLAGS, but this
1631 patch was rejected by upstream and later reverted in Debian. Thus those two
1632 versions show correct usage of CPPFLAGS even if the package doesn't correctly
1633 handle them (for example by passing them to CFLAGS). To prevent false
1634 negatives just blacklist those two versions.
1635
1636 =item B<I-no-compiler-commands>
1637
1638 No compiler commands were detected. Either the log contains none or they were
1639 not correctly detected by blhc (please report the bug in this case).
1640
1641 =back
1642
1643 =head1 EXIT STATUS
1644
1645 The exit status is a "bit mask", each listed status is ORed when the error
1646 condition occurs to get the result.
1647
1648 =over 4
1649
1650 =item B<0>
1651
1652 Success.
1653
1654 =item B<1>
1655
1656 No compiler commands were found.
1657
1658 =item B<2>
1659
1660 Invalid arguments/options given to blhc.
1661
1662 =item B<4>
1663
1664 Non verbose build.
1665
1666 =item B<8>
1667
1668 Missing hardening flags.
1669
1670 =item B<16>
1671
1672 Hardening wrapper detected, no tests performed.
1673
1674 =item B<32>
1675
1676 Invalid CMake version used. See B<I-invalid-cmake-used> under L</"BUILDD
1677 TAGS"> for a detailed explanation.
1678
1679 =back
1680
1681 =head1 AUTHOR
1682
1683 Simon Ruderich, E<lt>simon@ruderich.orgE<gt>
1684
1685 Thanks to to Bernhard R. Link E<lt>brlink@debian.orgE<gt> and Jaria Alto
1686 E<lt>jari.aalto@cante.netE<gt> for their valuable input and suggestions.
1687
1688 =head1 LICENSE AND COPYRIGHT
1689
1690 Copyright (C) 2012-2018 by Simon Ruderich
1691
1692 This program is free software: you can redistribute it and/or modify
1693 it under the terms of the GNU General Public License as published by
1694 the Free Software Foundation, either version 3 of the License, or
1695 (at your option) any later version.
1696
1697 This program is distributed in the hope that it will be useful,
1698 but WITHOUT ANY WARRANTY; without even the implied warranty of
1699 MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
1700 GNU General Public License for more details.
1701
1702 You should have received a copy of the GNU General Public License
1703 along with this program.  If not, see <http://www.gnu.org/licenses/>.
1704
1705 =head1 SEE ALSO
1706
1707 L<hardening-check(1)>, L<dpkg-buildflags(1)>
1708
1709 =cut