bin/blhc

   1 #!/usr/bin/perl
   2
   3 # Build log hardening check, checks build logs for missing hardening flags.
   4
   5 # Copyright (C) 2012-2024  Simon Ruderich
   6 #
   7 # This program is free software: you can redistribute it and/or modify
   8 # it under the terms of the GNU General Public License as published by
   9 # the Free Software Foundation, either version 3 of the License, or
  10 # (at your option) any later version.
  11 #
  12 # This program is distributed in the hope that it will be useful,
  13 # but WITHOUT ANY WARRANTY; without even the implied warranty of
  14 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  15 # GNU General Public License for more details.
  16 #
  17 # You should have received a copy of the GNU General Public License
  18 # along with this program.  If not, see <http://www.gnu.org/licenses/>.
  19
  20
  21 use strict;
  22 use warnings;
  23
  24 use Getopt::Long ();
  25 use Text::ParseWords ();
  26
  27 our $VERSION = '0.13';
  28
  29
  30 # CONSTANTS/VARIABLES
  31
  32 # Regex to catch compiler commands.
  33 my $cc_regex = qr/
  34     (?<!\s-)               # ignore options, e.g. "-c++" [sic!] (used by swig)
  35     (?<!\.)                # ignore file names, e.g. "test.gcc"
  36     (?:cc|gcc|g\+\+|c\+\+|gfortran|mpicc|mpicxx|mpifort)
  37     (?:-[\d.]+)?           # version suffix, e.g. "gcc-4.6"
  38     /x;
  39 # Full regex which matches the complete compiler name. Used in a few places to
  40 # prevent false negatives.
  41 my $cc_regex_full_prefix = qr/
  42     [a-z0-9_]+-(?:linux-|kfreebsd-)?gnu(?:eabi|eabihf)?
  43     /x;
  44 my $cc_regex_full = qr/
  45     (?:$cc_regex_full_prefix-)?
  46     $cc_regex
  47     /x;
  48 # Regex to check if a line contains a compiler command.
  49 my $cc_regex_normal = qr/
  50     \b$cc_regex(?:\s|\\)
  51     /x;
  52 my $rustc_regex = qr/
  53     \brustc\b
  54     /x;
  55 # Regex to catch (GCC) compiler warnings.
  56 my $warning_regex = qr/^(.+?):(\d+):\d+: warning: (.+?) \[(.+?)\]$/;
  57 # Regex to catch libtool commands and not lines which show commands executed
  58 # by libtool (e.g. libtool: link: ...).
  59 my $libtool_regex = qr/\blibtool["']?\s.*--mode=/;
  60 my $libtool_link_regex = qr/\blibtool: link: /;
  61
  62 # List of source file extensions which require preprocessing.
  63 my @source_preprocess_compile_cpp = (
  64     # C++
  65     qw( cc cp cxx cpp CPP c++ C ),
  66     # Objective-C++
  67     qw( mm M ),
  68 );
  69 my @source_preprocess_compile_fortran = (
  70     # Fortran
  71     qw( F FOR fpp FPP FTN F90 F95 F03 F08 ),
  72 );
  73 my @source_preprocess_compile = (
  74     # C
  75     qw( c ),
  76     # Objective-C
  77     qw( m ),
  78     # (Objective-)C++
  79     @source_preprocess_compile_cpp,
  80     # Fortran
  81     @source_preprocess_compile_fortran,
  82 );
  83 my @source_preprocess_no_compile = (
  84     # Assembly
  85     qw( S sx ),
  86 );
  87 my @source_preprocess = (
  88     @source_preprocess_compile,
  89     @source_preprocess_no_compile,
  90 );
  91 # List of source file extensions which don't require preprocessing.
  92 my @source_no_preprocess_compile_cpp = (
  93     # C++
  94     qw( ii ),
  95     # Objective-C++
  96     qw( mii ),
  97 );
  98 my @source_no_preprocess_compile_ada = (
  99     # Ada source
 100     qw( ada ),
 101     # Ada body
 102     qw( adb ),
 103 );
 104 my @source_no_preprocess_compile_fortran = (
 105     # Fortran
 106     qw( f for ftn f90 f95 f03 f08 ),
 107 );
 108 my @source_no_preprocess_compile = (
 109     # C
 110     qw( i ),
 111     # (Objective-)C++
 112     @source_no_preprocess_compile_cpp,
 113     # Objective-C
 114     qw( mi ),
 115     # Fortran
 116     @source_no_preprocess_compile_fortran,
 117     # Ada
 118     @source_no_preprocess_compile_ada,
 119 );
 120 my @source_no_preprocess_no_compile_ada = (
 121     # Ada specification
 122     qw( ads ),
 123 );
 124 my @source_no_preprocess_no_compile = (
 125     # Assembly
 126     qw( s ),
 127     # Ada
 128     @source_no_preprocess_no_compile_ada,
 129 );
 130 my @source_no_preprocess = (
 131     @source_no_preprocess_compile,
 132     @source_no_preprocess_no_compile,
 133 );
 134 # List of header file extensions which require preprocessing.
 135 my @header_preprocess = (
 136     # C, C++, Objective-C, Objective-C++
 137     qw( h ),
 138     # C++
 139     qw( hh H hp hxx hpp HPP h++ tcc ),
 140 );
 141 # Object files.
 142 my @object = (
 143     # Normal object files.
 144     qw ( o ),
 145     # Libtool object files.
 146     qw ( lo la ),
 147     # Dynamic libraries. bzip2 uses .sho.
 148     qw ( so sho ),
 149     # Static libraries.
 150     qw ( a ),
 151 );
 152
 153 # Hashes for fast extensions lookup to check if a file falls in one of these
 154 # categories.
 155 my %extensions_no_preprocess = map { $_ => 1 } (
 156     # There's no @header_no_preprocess.
 157     @source_no_preprocess,
 158 );
 159 my %extensions_preprocess = map { $_ => 1 } (
 160     @header_preprocess,
 161     @source_preprocess,
 162 );
 163 my %extensions_compile_link = map { $_ => 1 } (
 164     @source_preprocess,
 165     @source_no_preprocess,
 166 );
 167 my %extensions_compile = map { $_ => 1 } (
 168     @source_preprocess_compile,
 169     @source_no_preprocess_compile,
 170 );
 171 my %extensions_no_compile = map { $_ => 1 } (
 172     @source_preprocess_no_compile,
 173     @source_no_preprocess_no_compile,
 174 );
 175 my %extensions_compile_cpp = map { $_ => 1 } (
 176     @source_preprocess_compile_cpp,
 177     @source_no_preprocess_compile_cpp,
 178 );
 179 my %extensions_ada = map { $_ => 1 } (
 180     @source_no_preprocess_compile_ada,
 181     @source_no_preprocess_no_compile_ada,
 182 );
 183 my %extensions_fortran = map { $_ => 1 } (
 184     @source_no_preprocess_compile_fortran,
 185     @source_preprocess_compile_fortran,
 186 );
 187 my %extensions_object = map { $_ => 1 } (
 188     @object,
 189 );
 190 my %extension = map { $_ => 1 } (
 191     @source_no_preprocess,
 192     @header_preprocess,
 193     @source_preprocess,
 194     @object,
 195 );
 196
 197 # Regexp to match file extensions.
 198 my $file_extension_regex = qr/
 199     \s
 200     \S+             # Filename without extension.
 201     \.
 202     ([^\/\\.,;:\s]+)# File extension.
 203     (?=\s|\\)       # At end of word. Can't use \b because some files have non
 204                     # word characters at the end and because \b matches double
 205                     # extensions (like .cpp.o). Works always as all lines are
 206                     # terminated with "\n".
 207     /x;
 208
 209 # Expected (hardening) flags. All flags are used as regexps (and compiled to
 210 # real regexps below for better execution speed).
 211 my @def_cflags = (
 212     '-g3?',
 213     '-O(?:2|3)', # keep at index 1, search for @def_cflags_debug to change it
 214 );
 215 my @def_cflags_debug = (
 216     # These flags indicate a debug build which disables checks for -O2.
 217     '-O0',
 218     '-Og',
 219 );
 220 my @def_cflags_format = (
 221     '-Wformat(?:=2)?', # -Wformat=2 implies -Wformat, accept it too
 222     '-Werror=format-security', # implies -Wformat-security
 223 );
 224 my @def_cflags_fortify = (
 225     # fortify needs at least -O1, but -O2 is recommended anyway
 226 );
 227 my @def_cflags_stack = (
 228     '-fstack-protector', # keep first, used by cflags_stack_broken()
 229     '--param[= ]ssp-buffer-size=4',
 230 );
 231 my @def_cflags_stack_strong = (
 232     '-fstack-protector-strong', # keep first, used by cflags_stack_broken()
 233 );
 234 my @def_cflags_stack_bad = (
 235     # Blacklist all stack protector options for simplicity.
 236     '-fno-stack-protector',
 237     '-fno-stack-protector-all',
 238     '-fno-stack-protector-strong',
 239 );
 240 my @def_cflags_pie = (
 241     '-fPIE',
 242 );
 243 my @def_cxxflags = (
 244     @def_cflags,
 245 );
 246 # @def_cxxflags_* is the same as @def_cflags_*.
 247 my @def_cppflags = ();
 248 my @def_cppflags_fortify = (
 249     '-D_FORTIFY_SOURCE=[23]', # must be first, see cppflags_fortify_broken()
 250     # If you add another flag fix hack below (search for "Hack to fix") and
 251     # $def_cppflags_fortify[0].
 252 );
 253 my @def_cppflags_fortify_bad = (
 254     # These flags may overwrite -D_FORTIFY_SOURCE=2.
 255     '-U_FORTIFY_SOURCE',
 256     '-D_FORTIFY_SOURCE=0',
 257     '-D_FORTIFY_SOURCE=1',
 258 );
 259 my @def_ldflags = ();
 260 my @def_ldflags_relro = (
 261     '-Wl,(?:-z,)?relro',
 262 );
 263 my @def_ldflags_bindnow = (
 264     '-Wl,(?:-z,)?now',
 265 );
 266 my @def_ldflags_pie = (
 267     '-fPIE',
 268     '-pie',
 269 );
 270 my @def_ldflags_pic = (
 271     '-fPIC',
 272     '-fpic',
 273     '-shared',
 274 );
 275 # References to all flags checked by the flag checker.
 276 my @flag_refs = (
 277     \@def_cflags,
 278     \@def_cflags_format,
 279     \@def_cflags_fortify,
 280     \@def_cflags_stack,
 281     \@def_cflags_stack_strong,
 282     \@def_cflags_stack_bad,
 283     \@def_cflags_pie,
 284     \@def_cxxflags,
 285     \@def_cppflags,
 286     \@def_cppflags_fortify,
 287     \@def_ldflags,
 288     \@def_ldflags_relro,
 289     \@def_ldflags_bindnow,
 290     \@def_ldflags_pie,
 291 );
 292 # References to all used flags.
 293 my @flag_refs_all = (
 294     @flag_refs,
 295     \@def_cflags_debug,
 296     \@def_cppflags_fortify_bad,
 297     \@def_ldflags_pic,
 298 );
 299 # Renaming rules for the output so the regex parts are not visible. Also
 300 # stores string values of flag regexps above, see compile_flag_regexp().
 301 my %flag_renames = (
 302     '-g3?'                         => '-g',
 303     '-O(?:2|3)'                    => '-O2',
 304     '-Wformat(?:=2)?'              => '-Wformat',
 305     '--param[= ]ssp-buffer-size=4' => '--param=ssp-buffer-size=4',
 306     '-D_FORTIFY_SOURCE=[23]'       => '-D_FORTIFY_SOURCE=2',
 307     '-Wl,(?:-z,)?relro'            => '-Wl,-z,relro',
 308     '-Wl,(?:-z,)?now'              => '-Wl,-z,now',
 309 );
 310
 311 my %exit_code = (
 312     no_compiler_commands => 1 << 0,
 313     # used by POD::Usage => 1 << 1,
 314     non_verbose_build    => 1 << 2,
 315     flags_missing        => 1 << 3,
 316     hardening_wrapper    => 1 << 4,
 317     invalid_cmake        => 1 << 5,
 318 );
 319
 320 my %buildd_tag = (
 321     no_compiler_commands => 'I-no-compiler-commands',
 322     non_verbose_build    => 'W-compiler-flags-hidden',
 323     flags_missing        => 'W-dpkg-buildflags-missing',
 324     hardening_wrapper    => 'I-hardening-wrapper-used',
 325     invalid_cmake        => 'I-invalid-cmake-used',
 326 );
 327
 328 # Statistics of missing flags and non-verbose build commands. Used for
 329 # $option_buildd.
 330 my %statistics = (
 331     preprocess          => 0,
 332     preprocess_missing  => 0,
 333     compile             => 0,
 334     compile_missing     => 0,
 335     compile_cpp         => 0,
 336     compile_cpp_missing => 0,
 337     link                => 0,
 338     link_missing        => 0,
 339     commands            => 0,
 340     commands_nonverbose => 0,
 341 );
 342
 343 # Use colored (ANSI) output?
 344 my $option_color;
 345
 346
 347 # FUNCTIONS
 348
 349 sub split_line {
 350     my ($line) = @_;
 351
 352     my @work = ($line);
 353     foreach my $delim (';', '&&', '||') {
 354         my @x;
 355         foreach (@work) {
 356             push @x, Text::ParseWords::parse_line(qr/\Q$delim\E/, 1, $_);
 357         }
 358         @work = @x;
 359     }
 360
 361     return map {
 362         # Ensure newline at the line end - necessary for
 363         # correct parsing later.
 364         $_ =~ s/\s+$//;
 365         $_ .= "\n";
 366     } @work;
 367 }
 368
 369 sub error_flags {
 370     my ($message, $missing_flags_ref, $flag_renames_ref, $line, $number) = @_;
 371
 372     # Get string value of qr//-escaped regexps and if requested rename them.
 373     my @missing_flags = map {
 374             $flag_renames_ref->{$_}
 375         } @{$missing_flags_ref};
 376
 377     my $flags = join ' ', @missing_flags;
 378     printf '%d:', $number if defined $number;
 379     printf '%s (%s)%s %s',
 380            error_color($message, 'red'), $flags, error_color(':', 'yellow'),
 381            $line;
 382
 383     return;
 384 }
 385 sub error_non_verbose_build {
 386     my ($line, $number) = @_;
 387
 388     printf '%d:', $number if defined $number;
 389     printf '%s%s %s',
 390            error_color('NONVERBOSE BUILD', 'red'),
 391            error_color(':', 'yellow'),
 392            $line;
 393
 394     return;
 395 }
 396 sub error_invalid_cmake {
 397     my ($version) = @_;
 398
 399     printf "%s%s %s\n",
 400             error_color('INVALID CMAKE', 'red'),
 401             error_color(':', 'yellow'),
 402             $version;
 403
 404     return;
 405 }
 406 sub error_hardening_wrapper {
 407     printf "%s%s %s\n",
 408             error_color('HARDENING WRAPPER', 'red'),
 409             error_color(':', 'yellow'),
 410             'no checks possible, aborting';
 411
 412     return;
 413 }
 414 sub error_color {
 415     my ($message, $color) = @_;
 416
 417     if ($option_color) {
 418         return Term::ANSIColor::colored($message, $color);
 419     } else {
 420         return $message;
 421     }
 422 }
 423
 424 sub any_flags_used {
 425     my ($line, @flags) = @_;
 426
 427     foreach my $flag (@flags) {
 428         return 1 if $line =~ /$flag/;
 429     }
 430
 431     return 0;
 432 }
 433 sub all_flags_used {
 434     my ($line, $missing_flags_ref, @flags) = @_;
 435
 436     my @missing_flags = ();
 437     foreach my $flag (@flags) {
 438         if (not $line =~ /$flag/) {
 439             push @missing_flags, $flag;
 440         }
 441     }
 442
 443     return 1 if scalar @missing_flags == 0;
 444
 445     @{$missing_flags_ref} = @missing_flags;
 446     return 0;
 447 }
 448 # Check if any of \@bad_flags occurs after $good_flag. Doesn't check if
 449 # $good_flag is present.
 450 sub flag_overwritten {
 451     my ($line, $good_flag, $bad_flags) = @_;
 452
 453     if (not any_flags_used($line, @{$bad_flags})) {
 454         return 0;
 455     }
 456
 457     my $bad_pos = 0;
 458     foreach my $flag (@{$bad_flags}) {
 459         while ($line =~ /$flag/g) {
 460             if ($bad_pos < $+[0]) {
 461                 $bad_pos = $+[0];
 462             }
 463         }
 464     }
 465     my $good_pos = 0;
 466     while ($line =~ /$good_flag/g) {
 467         $good_pos = $+[0];
 468     }
 469     if ($good_pos > $bad_pos) {
 470         return 0;
 471     }
 472     return 1;
 473 }
 474
 475 sub cppflags_fortify_broken {
 476     my ($line, $missing_flags) = @_;
 477
 478     # $def_cppflags_fortify[0] must be -D_FORTIFY_SOURCE=2!
 479     my $fortify_source = $def_cppflags_fortify[0];
 480
 481     # Some build systems enable/disable fortify source multiple times, check
 482     # the final result.
 483     if (not flag_overwritten($line,
 484                              $fortify_source,
 485                              \@def_cppflags_fortify_bad)) {
 486         return 0;
 487     }
 488     push @{$missing_flags}, $fortify_source;
 489     return 1;
 490 }
 491
 492 sub cflags_stack_broken {
 493     my ($line, $missing_flags, $strong) = @_;
 494
 495     my $flag = $strong ? $def_cflags_stack_strong[0]
 496                        : $def_cflags_stack[0];
 497
 498     if (not flag_overwritten($line, $flag, \@def_cflags_stack_bad)) {
 499         return 0;
 500     }
 501     push @{$missing_flags}, $flag;
 502     return 1;
 503 }
 504
 505 # Modifies $missing_flags_ref array.
 506 sub pic_pie_conflict {
 507     my ($line, $pie, $missing_flags_ref, @flags_pie) = @_;
 508
 509     return 0 if not $pie;
 510     return 0 if not any_flags_used($line, @def_ldflags_pic);
 511
 512     my %flags = map { $_ => 1 } @flags_pie;
 513
 514     # Remove all PIE flags from @missing_flags as they are not required with
 515     # -fPIC.
 516     my @result = grep {
 517         not exists $flags{$_}
 518     } @{$missing_flags_ref};
 519     @{$missing_flags_ref} = @result;
 520
 521     # We got a conflict when no flags are left, thus only PIE flags were
 522     # missing. If other flags were missing abort because the conflict is not
 523     # the problem.
 524     return scalar @result == 0;
 525 }
 526
 527 sub is_non_verbose_build {
 528     my ($line, $cargo, $skip_ref, $input_ref, $line_offset, $line_count) = @_;
 529
 530     if ($line =~ /$libtool_regex/o) {
 531         # libtool's --silent hides the real compiler flags.
 532         if ($line =~ /\s--silent/) {
 533             return 1;
 534         # If --silent is not present, skip this line as some compiler flags
 535         # might be missing (e.g. -fPIE) which are handled correctly by libtool
 536         # internally. libtool displays the real compiler command on the next
 537         # line, so the flags are checked as usual.
 538         } else {
 539             ${$skip_ref} = 1;
 540             return 0;
 541         }
 542     }
 543
 544     if (not (index($line, 'checking if you want to see long compiling messages... no') == 0
 545                 or $line =~ /^\s*\[?(?:CC|CCLD|C\+\+|CXX|CXXLD|LD|LINK)\]?\s+(.+?)$/
 546                 or $line =~ /^\s*[][\/0-9 ]*[Cc]ompiling\s+(.+?)(?:\.\.\.)?$/
 547                 or $line =~ /^\s*[Bb]uilding (?:program|shared library)\s+(.+?)$/
 548                 or $line =~ /^\s*\[[\d ]+%\] Building (?:C|CXX) object (.+?)$/)) {
 549         return 0;
 550     }
 551
 552     # False positives.
 553     #
 554     # C++ compiler setting.
 555     return 0 if $line =~ /^\s*C\+\+.+?:\s+(?:yes|no)\s*$/;
 556     return 0 if $line =~ /^\s*C\+\+ Library: stdc\+\+$/;
 557     # "Compiling" non binary files.
 558     return 0 if $line =~ /^\s*Compiling \S+\.(?:py|pyx|el)['"]?\s*(?:\.\.\.|because it changed\.)?$/;
 559     return 0 if $line =~ /^\s*[Cc]ompiling catalog \S+\.po\b/;
 560     # cargo build
 561     return 0 if $cargo and $line =~ m{^\s*Compiling\s+\S+\s+v\S+(?:\s+\(/<<PKGBUILDDIR>>\))?$};
 562     # "Compiling" with no file name.
 563     if ($line =~ /^\s*[Cc]ompiling\s+(.+?)(?:\.\.\.)?$/) {
 564         # $file_extension_regex may need spaces around the filename.
 565         return 0 if not " $1 " =~ /$file_extension_regex/o;
 566     }
 567
 568     my $file = $1;
 569
 570     # On the first pass we only check if this line is verbose or not.
 571     return 1 if not defined $input_ref;
 572
 573     # Second pass, we have access to the next lines.
 574     ${$skip_ref} = 0;
 575
 576     # CMake and other build systems print the non-verbose messages also when
 577     # building verbose. If a compiler and the file name occurs in the next
 578     # lines, treat it as verbose build.
 579     if (defined $file) {
 580         # Get filename, we can't use the complete path as only parts of it are
 581         # used in the real compiler command.
 582         $file =~ m{/([^/\s]+)$};
 583         $file = $1;
 584
 585         for (my $i = 1; $i <= $line_count; $i++) {
 586             my $next_line = $input_ref->[$line_offset + $i];
 587             last unless defined $next_line;
 588
 589             if (index($next_line, $file) != -1 and $next_line =~ /$cc_regex/o) {
 590                 # Not a non-verbose line, but we still have to skip the
 591                 # current line as it doesn't contain any compiler commands.
 592                 ${$skip_ref} = 1;
 593                 return 0;
 594             }
 595         }
 596     }
 597
 598     return 1;
 599 }
 600
 601 # Remove @flags from $flag_refs_ref, uses $flag_renames_ref as reference.
 602 sub remove_flags {
 603     my ($flag_refs_ref, $flag_renames_ref, @flags) = @_;
 604
 605     my %removes = map { $_ => 1 } @flags;
 606     foreach my $flags (@{$flag_refs_ref}) {
 607         @{$flags} = grep {
 608             # Flag found as string.
 609             not exists $removes{$_}
 610             # Flag found as string representation of regexp.
 611                 and (not defined $flag_renames_ref->{$_}
 612                         or not exists $removes{$flag_renames_ref->{$_}})
 613         } @{$flags};
 614     }
 615
 616     return;
 617 }
 618
 619 # Modifies $flag_renames_ref hash.
 620 sub compile_flag_regexp {
 621     my ($flag_renames_ref, @flags) = @_;
 622
 623     my @result = ();
 624     foreach my $flag (@flags) {
 625         # Compile flag regexp for faster execution.
 626         my $regex = qr/\s(['"]?)$flag\1(?:\s|\\)/;
 627
 628         # Store flag name in replacement string for correct flags in messages
 629         # with qr//ed flag regexps.
 630         $flag_renames_ref->{$regex}
 631             = (exists $flag_renames_ref->{$flag})
 632                 ? $flag_renames_ref->{$flag}
 633                 : $flag;
 634
 635         push @result, $regex;
 636     }
 637     return @result;
 638 }
 639
 640 # Does any extension in @extensions exist in %{$extensions_ref}?
 641 sub extension_found {
 642     my ($extensions_ref, @extensions) = @_;
 643
 644     foreach my $extension (@extensions) {
 645         if (exists $extensions_ref->{$extension}) {
 646             return 1;
 647         }
 648     }
 649     return 0;
 650 }
 651
 652
 653 # MAIN
 654
 655 # Parse command line arguments.
 656 my $option_help             = 0;
 657 my $option_version          = 0;
 658 my $option_pie              = 0;
 659 my $option_bindnow          = 0;
 660 my @option_ignore_arch      = ();
 661 my @option_ignore_flag      = ();
 662 my @option_ignore_arch_flag = ();
 663 my @option_ignore_line      = ();
 664 my @option_ignore_arch_line = ();
 665 my $option_all              = 0;
 666 my $option_arch             = undef;
 667 my $option_buildd           = 0;
 668 my $option_debian           = 0;
 669    $option_color            = 0;
 670 my $option_line_numbers     = 0;
 671 if (not Getopt::Long::GetOptions(
 672             'help|h|?'           => \$option_help,
 673             'version'            => \$option_version,
 674             # Hardening options.
 675             'pie'                => \$option_pie,
 676             'bindnow'            => \$option_bindnow,
 677             'all'                => \$option_all,
 678             # Ignore.
 679             'ignore-arch=s'      => \@option_ignore_arch,
 680             'ignore-flag=s'      => \@option_ignore_flag,
 681             'ignore-arch-flag=s' => \@option_ignore_arch_flag,
 682             'ignore-line=s'      => \@option_ignore_line,
 683             'ignore-arch-line=s' => \@option_ignore_arch_line,
 684             # Misc.
 685             'color'              => \$option_color,
 686             'arch=s'             => \$option_arch,
 687             'buildd'             => \$option_buildd,
 688             'debian'             => \$option_debian,
 689             'line-numbers'       => \$option_line_numbers,
 690         )) {
 691     require Pod::Usage;
 692     Pod::Usage::pod2usage(2);
 693 }
 694 if ($option_help) {
 695     require Pod::Usage;
 696     Pod::Usage::pod2usage(1);
 697 }
 698 if ($option_version) {
 699     print <<"EOF";
 700 blhc $VERSION  Copyright (C) 2012-2024  Simon Ruderich
 701
 702 This program is free software: you can redistribute it and/or modify
 703 it under the terms of the GNU General Public License as published by
 704 the Free Software Foundation, either version 3 of the License, or
 705 (at your option) any later version.
 706
 707 This program is distributed in the hope that it will be useful,
 708 but WITHOUT ANY WARRANTY; without even the implied warranty of
 709 MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 710 GNU General Public License for more details.
 711
 712 You should have received a copy of the GNU General Public License
 713 along with this program.  If not, see <http://www.gnu.org/licenses/>.
 714 EOF
 715     exit 0;
 716 }
 717
 718 # Arguments missing.
 719 if (scalar @ARGV == 0) {
 720     require Pod::Usage;
 721     Pod::Usage::pod2usage(2);
 722 }
 723
 724 # Don't load Term::ANSIColor in buildd mode because Term::ANSIColor is not
 725 # installed on Debian's buildds.
 726 if (not $option_buildd) {
 727     require Term::ANSIColor;
 728 }
 729
 730 if ($option_all) {
 731     $option_pie     = 1;
 732     $option_bindnow = 1;
 733 }
 734
 735 # Precompiled ignores for faster lookup.
 736 my %option_ignore_arch_flag = ();
 737 my %option_ignore_arch_line = ();
 738
 739 # Strip flags which should be ignored.
 740 if (scalar @option_ignore_flag > 0) {
 741     remove_flags(\@flag_refs, \%flag_renames, @option_ignore_flag);
 742 }
 743 # Same for arch specific ignore flags, but only prepare here.
 744 if (scalar @option_ignore_arch_flag > 0) {
 745     foreach my $ignore (@option_ignore_arch_flag) {
 746         my ($ignore_arch, $ignore_flag) = split /:/, $ignore, 2;
 747
 748         if (not $ignore_arch or not $ignore_flag) {
 749             printf STDERR 'Value "%s" invalid for option ignore-arch-flag '
 750                         . '("arch:flag" expected)' . "\n", $ignore;
 751             require Pod::Usage;
 752             Pod::Usage::pod2usage(2);
 753         }
 754
 755         push @{$option_ignore_arch_flag{$ignore_arch}}, $ignore_flag;
 756     }
 757 }
 758
 759 # Precompile all flag regexps. any_flags_used(), all_flags_used() get a lot
 760 # faster with this.
 761 foreach my $flags (@flag_refs_all) {
 762     @{$flags} = compile_flag_regexp(\%flag_renames, @{$flags});
 763 }
 764
 765 # Precompile ignore line regexps, also anchor at beginning and end of line.
 766 # Additional entries are also extracted from the build log, see below.
 767 foreach my $ignore (@option_ignore_line) {
 768     $ignore = qr/^$ignore$/;
 769 }
 770 # Same for arch specific ignore lines.
 771 if (scalar @option_ignore_arch_line > 0) {
 772     foreach my $ignore (@option_ignore_arch_line) {
 773         my ($ignore_arch, $ignore_line) = split /:/, $ignore, 2;
 774
 775         if (not $ignore_arch or not $ignore_line) {
 776             printf STDERR 'Value "%s" invalid for option ignore-arch-line '
 777                         . '("arch:line" expected)' . "\n", $ignore;
 778             require Pod::Usage;
 779             Pod::Usage::pod2usage(2);
 780         }
 781
 782         push @{$option_ignore_arch_line{$ignore_arch}}, qr/^$ignore_line$/;
 783     }
 784 }
 785
 786 # Final exit code.
 787 my $exit = 0;
 788
 789 FILE:
 790 foreach my $file (@ARGV) {
 791     print "checking '$file'...\n" if scalar @ARGV > 1;
 792
 793     -f $file or die "No such file: $file";
 794
 795     open my $fh, '<', $file or die $!;
 796
 797     # Architecture of this file.
 798     my $arch = $option_arch;
 799
 800     # Hardening options. Not all architectures support all hardening options.
 801     my $harden_format  = 1;
 802     my $harden_fortify = 1;
 803     my $harden_stack   = 1;
 804     my $harden_stack_strong = 1;
 805     my $harden_relro   = 1;
 806     my $harden_bindnow = $option_bindnow; # defaults to 0
 807     my $harden_pie     = $option_pie;     # defaults to 0
 808
 809     # Number of parallel jobs to prevent false positives when detecting
 810     # non-verbose builds. As not all jobs declare the number of parallel jobs
 811     # use a large enough default.
 812     my $parallel = 10;
 813
 814     # Don't check for PIE flags if automatically applied by the compiler. Only
 815     # used in buildd and Debian mode.
 816     my $disable_harden_pie = 0;
 817     if ($option_debian) {
 818         $disable_harden_pie = 1;
 819     }
 820
 821     # Ignore additional false positives if cargo/rust is used
 822     my $cargo = 0;
 823
 824     my $number = 0;
 825     while (my $line = <$fh>) {
 826         $number++;
 827
 828         # Detect architecture automatically unless overridden. For buildd logs
 829         # only, doesn't use the dpkg-buildpackage header. Necessary to ignore
 830         # build logs which aren't built (wrong architecture, build error,
 831         # etc.).
 832         if (not $arch) {
 833             if (index($line, 'Build Architecture: ') == 0) {
 834                 $arch = substr $line, 20, -1; # -1 to ignore '\n' at the end
 835             # For old logs (sbuild << 0.63.0-1).
 836             } elsif (index($line, 'Architecture: ') == 0) {
 837                 $arch = substr $line, 14, -1; # -1 to ignore '\n' at the end
 838             }
 839         }
 840
 841         # dpkg-buildflags only provides hardening flags since 1.16.1, don't
 842         # check for hardening flags in buildd mode if an older dpkg-dev is
 843         # used. Default flags (-g -O2) are still checked.
 844         #
 845         # Packages which were built before 1.16.1 but used their own hardening
 846         # flags are not checked.
 847         #
 848         # Strong stack protector is used since dpkg 1.17.11.
 849         #
 850         # Recent GCC versions automatically use PIE (only on supported
 851         # architectures) and dpkg respects this properly since 1.18.15 and
 852         # doesn't pass PIE flags manually.
 853         if ($option_buildd
 854                 and index($line, 'Toolchain package versions: ') == 0) {
 855             require Dpkg::Version;
 856
 857             my $disable = 1;
 858             my $disable_strong = 1;
 859
 860             if ($line =~ /\bdpkg-dev_(\S+)/) {
 861                 if (Dpkg::Version::version_compare($1, '1.16.1') >= 0) {
 862                     $disable = 0;
 863                 }
 864                 if (Dpkg::Version::version_compare($1, '1.17.11') >= 0) {
 865                     $disable_strong = 0;
 866                 }
 867                 if (Dpkg::Version::version_compare($1, '1.18.15') >= 0) {
 868                     $disable_harden_pie = 1;
 869                 }
 870             }
 871
 872             if ($disable) {
 873                 $harden_format  = 0;
 874                 $harden_fortify = 0;
 875                 $harden_stack   = 0;
 876                 $harden_relro   = 0;
 877                 $harden_bindnow = 0;
 878                 $harden_pie     = 0;
 879             }
 880             if ($disable_strong) {
 881                 $harden_stack_strong = 0;
 882             }
 883         }
 884
 885         # The following two versions of CMake in Debian obeyed CPPFLAGS, but
 886         # this was later dropped because upstream rejected the patch. Thus
 887         # build logs with these versions will have fortify hardening flags
 888         # enabled, even though they may be not correctly set and are missing
 889         # when build with later CMake versions. Thanks to Aron Xu for letting
 890         # me know.
 891         if (index($line, 'Package versions: ') == 0
 892                 and $line =~ /\bcmake_(\S+)/
 893                 and ($1 eq '2.8.7-1' or $1 eq '2.8.7-2')) {
 894             if (not $option_buildd) {
 895                 error_invalid_cmake($1);
 896                 $exit |= $exit_code{invalid_cmake};
 897             } else {
 898                 print "$buildd_tag{invalid_cmake}|$1|\n";
 899             }
 900         }
 901
 902         # Debian's build daemons use "Filtered Build-Depends:" (or just
 903         # "Build-Depends:" in older versions) for the build dependencies, but
 904         # pbuilder uses "Depends:"; support both.
 905         if (index($line, 'Filtered Build-Depends: ') == 0
 906                 or index($line, 'Build-Depends: ') == 0
 907                 or index($line, 'Depends: ') == 0) {
 908             # If hardening wrapper is used (wraps calls to gcc and adds
 909             # hardening flags automatically) we can't perform any checks,
 910             # abort.
 911             if ($line =~ /\bhardening-wrapper\b/) {
 912                 if (not $option_buildd) {
 913                     error_hardening_wrapper();
 914                     $exit |= $exit_code{hardening_wrapper};
 915                 } else {
 916                     print "$buildd_tag{hardening_wrapper}||\n";
 917                 }
 918                 next FILE;
 919             }
 920
 921             if ($line =~ /\bcargo\b/) {
 922                 $cargo = 1;
 923             }
 924         }
 925
 926         # This flags is not always available, but if it is use it.
 927         if ($line =~ /^DEB_BUILD_OPTIONS=.*\bparallel=(\d+)/) {
 928             $parallel = $1 * 2;
 929         }
 930
 931         # We skip over unimportant lines at the beginning of the log to
 932         # prevent false positives.
 933         last if index($line, 'dpkg-buildpackage: ') == 0;
 934     }
 935
 936     # Input lines, contain only the lines with compiler commands.
 937     my @input = ();
 938     # Non-verbose lines in the input. Used to reduce calls to
 939     # is_non_verbose_build() (which is quite slow) in the second loop when
 940     # it's already clear if a line is non-verbose or not.
 941     my @input_nonverbose = ();
 942     # Input line number.
 943     my @input_number = ();
 944
 945     my $continuation = 0;
 946     my $complete_line = undef;
 947     my $non_verbose;
 948     while (my $line = <$fh>) {
 949         $number++;
 950
 951         # And stop at the end of the build log. Package details (reported by
 952         # the buildd logs) are not important for us. This also prevents false
 953         # positives.
 954         last if index($line, 'Build finished at ') == 0
 955                 and $line =~ /^Build finished at \d{8}-\d{4}$/;
 956
 957         if (not $continuation) {
 958             $non_verbose = 0;
 959         }
 960
 961         # Detect architecture automatically unless overridden.
 962         if (not $arch
 963                 and index($line, 'dpkg-buildpackage: info: host architecture ') == 0) {
 964             $arch = substr $line, 43, -1; # -1 to ignore '\n' at the end
 965         # Older versions of dpkg-buildpackage
 966         } elsif (not $arch
 967                 and index($line, 'dpkg-buildpackage: host architecture ') == 0) {
 968             $arch = substr $line, 37, -1; # -1 to ignore '\n' at the end
 969
 970             # Old buildd logs use e.g. "host architecture is alpha", remove
 971             # the "is", otherwise debarch_to_debtriplet() will not detect the
 972             # architecture.
 973             if (index($arch, 'is ') == 0) {
 974                 $arch = substr $arch, 3;
 975             }
 976         }
 977
 978         # Permit dynamic excludes from within the build log to ignore false
 979         # positives. Cannot use a separate config file as we often only have
 980         # the build log itself.
 981         if (index($line, 'blhc: ignore-line-regexp: ') == 0) {
 982             my $ignore = substr $line, 26, -1; # -1 to ignore '\n' at the end
 983             push @option_ignore_line, qr/^$ignore$/;
 984             next;
 985         }
 986
 987         next if $line =~ /^\s*#/;
 988         # Ignore compiler warnings for now.
 989         next if $line =~ /$warning_regex/o;
 990
 991         if (not $option_buildd and index($line, "\033") != -1) { # \033 = esc
 992             # Remove all ANSI color sequences which are sometimes used in
 993             # non-verbose builds.
 994             $line = Term::ANSIColor::colorstrip($line);
 995             # Also strip '\0xf' (delete previous character), used by Elinks'
 996             # build system.
 997             $line =~ s/\x0f//g;
 998             # And "ESC(B" which seems to be used on armhf and hurd (not sure
 999             # what it does).
1000             $line =~ s/\033\(B//g;
1001         }
1002
1003         # Check if this line indicates a non verbose build.
1004         my $skip = 0;
1005         $non_verbose |= is_non_verbose_build($line, $cargo, \$skip);
1006         next if $skip;
1007
1008         # Treat each command as a single line so we don't ignore valid
1009         # commands when handling false positives. split_line() is slow, only
1010         # use it when necessary.
1011         my @line = ($line !~ /(?:;|&&|\|\|)/)
1012                  ? ($line)
1013                  : split_line($line);
1014         foreach my $line (@line) {
1015             if ($continuation) {
1016                 $continuation = 0;
1017
1018                 # Join lines, but leave the "\" in place so it's clear where
1019                 # the original line break was.
1020                 chomp $complete_line;
1021                 $complete_line .= ' ' . $line;
1022             }
1023             # Line continuation, line ends with "\".
1024             if ($line =~ /\\$/) {
1025                 $continuation = 1;
1026                 # Start line continuation.
1027                 if (not defined $complete_line) {
1028                     $complete_line = $line;
1029                 }
1030                 next;
1031             }
1032
1033             # Use the complete line if a line continuation occurred.
1034             if (defined $complete_line) {
1035                 $line = $complete_line;
1036                 $complete_line = undef;
1037             }
1038
1039             my $noenv = $line;
1040             # Strip (basic) environment variables for compiler detection. This
1041             # prevents false positives when environment variables contain
1042             # compiler binaries. Nested quotes, command substitution, etc. is
1043             # not supported.
1044             $noenv =~ s/^
1045                 \s*
1046                 (?:
1047                     [a-zA-Z_]+          # environment variable name
1048                     =
1049                     (?:
1050                         [^\s"'\$`\\]+   # non-quoted string
1051                         |
1052                         '[^"'\$`\\]*'   # single-quoted string
1053                         |
1054                         "[^"'\$`\\]*"   # double-quoted string
1055                     )
1056                     \s+
1057                 )*
1058             //x;
1059             # Ignore lines with no compiler commands.
1060             next if not $non_verbose
1061                     and not $noenv =~ /$cc_regex_normal/o;
1062             # Ignore lines with no filenames with extensions. May miss some
1063             # non-verbose builds (e.g. "gcc -o test" [sic!]), but shouldn't be
1064             # a problem as the log will most likely contain other non-verbose
1065             # commands which are detected.
1066             next if not $non_verbose
1067                     and not $line =~ /$file_extension_regex/o;
1068
1069             # Ignore false positives.
1070             #
1071             # `./configure` output.
1072             next if not $non_verbose
1073                     and $line =~ /^(?:checking|[Cc]onfigure:) /;
1074             next if $line =~ /^\s*(?:Host\s+)?(?:C(?:\+\+)?\s+)?
1075                                 [Cc]ompiler[\s.]*:?\s+
1076                                 /x;
1077             next if $line =~ m{^\s*(?:-\s)?(?:HOST_)?(?:CC|CXX)
1078                                 \s*=\s*$cc_regex_full
1079                                 # optional compiler options, don't allow
1080                                 # "everything" here to prevent false negatives
1081                                 \s*(?:\s-\S+)*\s*$}xo;
1082             # `echo` is never a compiler command
1083             next if $line =~ /^\s*echo\s/;
1084             # Ignore calls to `make` because they can contain environment
1085             # variables which look like compiler commands, e.g. CC=).
1086             next if $line =~ /^\s*make\s/;
1087             # `moc-qt4`/`moc-qt5` contain '-I.../linux-g++' in their command
1088             # line (or similar for other architectures) which gets recognized
1089             # as a compiler line, but `moc-qt*` is only a preprocessor for Qt
1090             # C++ files. No hardening flags are relevant during this step,
1091             # thus ignore `moc-qt*` lines. The resulting files will be
1092             # compiled in a separate step (and therefore checked).
1093             next if $line =~ m{^\S+(?:/bin/moc(?:-qt[45])?|/lib/qt6/libexec/moc)
1094                                \s.+\s
1095                                -I\S+/mkspecs/[a-z]+-g\++(?:-64)?
1096                                \s}x;
1097             # nvcc is not a regular C compiler
1098             next if $line =~ m{^\S+/bin/nvcc\s};
1099             # Ignore false positives when the line contains only CC=gcc but no
1100             # other gcc command.
1101             if ($line =~ /(.*)CC=$cc_regex_full(.*)/o) {
1102                 my $before = $1;
1103                 my $after  = $2;
1104                 next if     not $before =~ /$cc_regex_normal/o
1105                         and not $after  =~ /$cc_regex_normal/o;
1106             }
1107             # Ignore false positives caused by gcc -v. It outputs a line
1108             # looking like a normal compiler line but which is sometimes
1109             # missing hardening flags, although the normal compiler line
1110             # contains them.
1111             next if $line =~ m{^\s+/usr/lib/gcc/$cc_regex_full_prefix/
1112                                    [0-9.]+/cc1(?:plus)?}xo;
1113             # Ignore false positive with `rm` which may remove files which
1114             # look like a compiler executable thus causing the line to be
1115             # treated as a normal compiler line.
1116             next if $line =~ m{^\s*rm\s+};
1117             next if $line =~ m{^\s*dwz\s+};
1118             # Some build systems emit "gcc > file".
1119             next if $line =~ m{$cc_regex_normal\s*>\s*\S+}o;
1120             # Hex output may contain "cc".
1121             next if $line =~ m#(?:\b[0-9a-fA-F]{2,}\b\s*){5}#;
1122             # Meson build output
1123             next if $line =~ /^C\+\+ linker for the host machine: /;
1124             # Embedded `gcc -print-*` commands
1125             next if $line =~ /`$cc_regex_normal\s*[^`]*-print-\S+`/;
1126             # cmake checking for compiler flags without setting CPPFLAGS
1127             next if $line =~ m{^\s*/usr/(bin|lib)/(ccache/)?c\+\+ (?:-std=\S+ )?-dM -E -c /usr/share/cmake-\S+/Modules/CMakeCXXCompilerABI\.cpp};
1128             # Some rustc lines look like linker commands
1129             next if $cargo and $line =~ /$rustc_regex/o;
1130
1131             # Check if additional hardening options were used. Used to ensure
1132             # they are used for the complete build.
1133             $harden_pie     = 1 if any_flags_used($line, @def_cflags_pie,
1134                                                          @def_ldflags_pie);
1135             $harden_bindnow = 1 if any_flags_used($line, @def_ldflags_bindnow);
1136
1137             push @input, $line;
1138             push @input_nonverbose, $non_verbose;
1139             push @input_number, $number if $option_line_numbers;
1140         }
1141     }
1142
1143     close $fh or die $!;
1144
1145     # Ignore arch if requested.
1146     if (scalar @option_ignore_arch > 0 and $arch) {
1147         foreach my $ignore (@option_ignore_arch) {
1148             if ($arch eq $ignore) {
1149                 print "ignoring architecture '$arch'\n";
1150                 next FILE;
1151             }
1152         }
1153     }
1154
1155     if (scalar @input == 0) {
1156         if (not $option_buildd) {
1157             print "No compiler commands!\n";
1158             $exit |= $exit_code{no_compiler_commands};
1159         } else {
1160             print "$buildd_tag{no_compiler_commands}||\n";
1161         }
1162         next FILE;
1163     }
1164
1165     if ($option_buildd) {
1166         $statistics{commands} += scalar @input;
1167     }
1168
1169     # Option or auto detected.
1170     if ($arch) {
1171         # The following was partially copied from dpkg-dev 1.22.0
1172         # (/usr/share/perl5/Dpkg/Vendor/Debian.pm, set_build_features and
1173         # _add_build_flags()), copyright Raphaël Hertzog <hertzog@debian.org>,
1174         # Guillem Jover <guillem@debian.org>, Kees Cook <kees@debian.org>,
1175         # Canonical, Ltd. licensed under GPL version 2 or later. Keep it in
1176         # sync.
1177
1178         require Dpkg::Arch;
1179         my ($os, $cpu);
1180         # Recent dpkg versions use a quadruplet for arch. Support both.
1181         eval {
1182             (undef, undef, $os, $cpu) = Dpkg::Arch::debarch_to_debtuple($arch);
1183         };
1184         if ($@) {
1185             (undef, $os, $cpu) = Dpkg::Arch::debarch_to_debtriplet($arch);
1186         }
1187
1188         my %builtin_pie_arch = map { $_ => 1 } qw(
1189             amd64
1190             arm64
1191             armel
1192             armhf
1193             hurd-amd64
1194             hurd-i386
1195             i386
1196             kfreebsd-amd64
1197             kfreebsd-i386
1198             loong64
1199             mips
1200             mips64
1201             mips64el
1202             mips64r6
1203             mips64r6el
1204             mipsel
1205             mipsn32
1206             mipsn32el
1207             mipsn32r6
1208             mipsn32r6el
1209             mipsr6
1210             mipsr6el
1211             powerpc
1212             ppc64
1213             ppc64el
1214             riscv64
1215             s390x
1216             sparc
1217             sparc64
1218         );
1219
1220         # Disable unsupported hardening options.
1221         if ($disable_harden_pie and exists $builtin_pie_arch{$arch}) {
1222             $harden_pie = 0;
1223         }
1224         if ($os !~ /^(?:linux|kfreebsd|hurd)$/
1225                 or $cpu =~ /^(?:alpha|hppa|ia64)$/) {
1226             $harden_pie = 0;
1227         }
1228         if ($cpu =~ /^(?:ia64|alpha|hppa|nios2)$/ or $arch eq 'arm') {
1229             $harden_stack = 0;
1230             $harden_stack_strong = 0;
1231         }
1232         if ($cpu =~ /^(?:ia64|hppa)$/) {
1233             $harden_relro   = 0;
1234             $harden_bindnow = 0;
1235         }
1236     }
1237
1238     # Default values.
1239     my @cflags   = @def_cflags;
1240     my @cxxflags = @def_cxxflags;
1241     my @cppflags = @def_cppflags;
1242     my @ldflags  = @def_ldflags;
1243     # Check the specified hardening options, same order as dpkg-buildflags.
1244     if ($harden_pie) {
1245         @cflags   = (@cflags,   @def_cflags_pie);
1246         @cxxflags = (@cxxflags, @def_cflags_pie);
1247         @ldflags  = (@ldflags,  @def_ldflags_pie);
1248     }
1249     if ($harden_stack_strong) {
1250         @cflags   = (@cflags,   @def_cflags_stack_strong);
1251         @cxxflags = (@cxxflags, @def_cflags_stack_strong);
1252     } elsif ($harden_stack) {
1253         @cflags   = (@cflags,   @def_cflags_stack);
1254         @cxxflags = (@cxxflags, @def_cflags_stack);
1255     }
1256     if ($harden_fortify) {
1257         @cflags   = (@cflags,   @def_cflags_fortify);
1258         @cxxflags = (@cxxflags, @def_cflags_fortify);
1259         @cppflags = (@cppflags, @def_cppflags_fortify);
1260     }
1261     if ($harden_format) {
1262         @cflags   = (@cflags,   @def_cflags_format);
1263         @cxxflags = (@cxxflags, @def_cflags_format);
1264     }
1265     if ($harden_relro) {
1266         @ldflags = (@ldflags, @def_ldflags_relro);
1267     }
1268     if ($harden_bindnow) {
1269         @ldflags = (@ldflags, @def_ldflags_bindnow);
1270     }
1271
1272     # Ada doesn't support format hardening flags, see #680117 for more
1273     # information. Same for fortran.
1274     my @cflags_backup;
1275     my @cflags_noformat = grep {
1276         my $ok = 1;
1277         foreach my $flag (@def_cflags_format) {
1278             $ok = 0 if $_ eq $flag;
1279         }
1280         $ok;
1281     } @cflags;
1282
1283     # Hack to fix cppflags_fortify_broken() if --ignore-flag
1284     # -D_FORTIFY_SOURCE=2 is used to ignore missing fortification. Only works
1285     # as long as @def_cppflags_fortify contains only one variable.
1286     if (scalar @def_cppflags_fortify == 0) {
1287         $harden_fortify = 0;
1288     }
1289
1290     # Ignore flags for this arch if requested.
1291     if ($arch and exists $option_ignore_arch_flag{$arch}) {
1292         my @local_flag_refs = (\@cflags, \@cxxflags, \@cppflags, \@ldflags);
1293
1294         remove_flags(\@local_flag_refs,
1295                      \%flag_renames,
1296                      @{$option_ignore_arch_flag{$arch}});
1297     }
1298
1299     my @ignore_line = @option_ignore_line;
1300     # Ignore lines for this arch if requested.
1301     if ($arch and exists $option_ignore_arch_line{$arch}) {
1302         @ignore_line = (@ignore_line, @{$option_ignore_arch_line{$arch}});
1303     }
1304
1305 LINE:
1306     for (my $i = 0; $i < scalar @input; $i++) {
1307         my $line = $input[$i];
1308
1309         # Ignore line if requested.
1310         foreach my $ignore (@ignore_line) {
1311             next LINE if $line =~ /$ignore/;
1312         }
1313
1314         my $skip = 0;
1315         if ($input_nonverbose[$i]
1316                 and is_non_verbose_build($line, $cargo, \$skip,
1317                                          \@input, $i, $parallel)) {
1318             if (not $option_buildd) {
1319                 error_non_verbose_build($line, $input_number[$i]);
1320                 $exit |= $exit_code{non_verbose_build};
1321             } else {
1322                 $statistics{commands_nonverbose}++;
1323             }
1324             next;
1325         }
1326         # Even if it's a verbose build, we might have to skip this line (see
1327         # is_non_verbose_build()).
1328         next if $skip;
1329
1330         my $orig_line = $line;
1331
1332         # Remove everything until and including the compiler command. Makes
1333         # checks easier and faster.
1334         $line =~ s/^.*?$cc_regex//o;
1335         # "([...] test.c)" is not detected as 'test.c' - fix this by removing
1336         # the brace and similar characters at the line end.
1337         $line =~ s/['")]+$//;
1338
1339         # Skip unnecessary tests when only preprocessing.
1340         my $flag_preprocess = 0;
1341
1342         my $dependency = 0;
1343         my $preprocess = 0;
1344         my $compile    = 0;
1345         my $link       = 0;
1346
1347         # Preprocess, compile, assemble.
1348         if ($line =~ /\s(-E|-S|-c)\b/) {
1349             $preprocess      = 1;
1350             $flag_preprocess = 1 if $1 eq '-E';
1351             $compile         = 1 if $1 eq '-S' or $1 eq '-c';
1352         # Dependency generation for Makefiles. The other flags (-MF -MG -MP
1353         # -MT -MQ) are always used with -M/-MM.
1354         } elsif ($line =~ /\s(?:-M|-MM)\b/) {
1355             $dependency = 1;
1356         # Otherwise assume we are linking.
1357         } else {
1358             $link = 1;
1359         }
1360
1361         # -MD/-MMD also cause dependency generation, but they don't imply -E!
1362         if ($line =~ /\s(?:-MD|-MMD)\b/) {
1363             $dependency      = 0;
1364             $flag_preprocess = 0;
1365         }
1366
1367         # Dependency generation for Makefiles, no preprocessing or other flags
1368         # needed.
1369         next if $dependency;
1370
1371         # Get all file extensions on this line.
1372         my @extensions = $line =~ /$file_extension_regex/go;
1373         # Ignore all unknown extensions to speedup the search below.
1374         @extensions = grep { exists $extension{$_} } @extensions;
1375
1376         # These file types don't require preprocessing.
1377         if (extension_found(\%extensions_no_preprocess, @extensions)) {
1378             $preprocess = 0;
1379         }
1380         # These file types require preprocessing.
1381         if (extension_found(\%extensions_preprocess, @extensions)) {
1382             # Prevent false positives with "libtool: link: g++ -include test.h
1383             # .." compiler lines.
1384             if ($orig_line !~ /$libtool_link_regex/o) {
1385                 $preprocess = 1;
1386             }
1387         }
1388
1389         if (not $flag_preprocess) {
1390             # If there are source files then it's compiling/linking in one
1391             # step and we must check both. We only check for source files
1392             # here, because header files cause too many false positives.
1393             if (extension_found(\%extensions_compile_link, @extensions)) {
1394                 # Assembly files don't need CFLAGS.
1395                 if (not extension_found(\%extensions_compile, @extensions)
1396                         and extension_found(\%extensions_no_compile, @extensions)) {
1397                     $compile = 0;
1398                 # But the rest does.
1399                 } else {
1400                     $compile = 1;
1401                 }
1402             # No compilable extensions found, either linking or compiling
1403             # header flags.
1404             #
1405             # If there are also no object files we are just compiling headers
1406             # (.h -> .h.gch). Don't check for linker flags in this case. Due
1407             # to our liberal checks for compiler lines, this also reduces the
1408             # number of false positives considerably.
1409             } elsif ($link
1410                     and not extension_found(\%extensions_object, @extensions)) {
1411                 $link = 0;
1412             }
1413         }
1414
1415         my $compile_cpp = 0;
1416         my $restore_cflags = 0;
1417         # Assume CXXFLAGS are required when a C++ file is specified in the
1418         # compiler line.
1419         if ($compile
1420                 and extension_found(\%extensions_compile_cpp, @extensions)) {
1421             $compile     = 0;
1422             $compile_cpp = 1;
1423         # Ada needs special CFLAGS
1424         } elsif (extension_found(\%extensions_ada, @extensions)) {
1425             $restore_cflags = 1;
1426             $preprocess = 0; # Ada uses no CPPFLAGS
1427             @cflags_backup = @cflags;
1428             @cflags        = @cflags_noformat;
1429         # Same for fortran
1430         } elsif (extension_found(\%extensions_fortran, @extensions)) {
1431             $restore_cflags = 1;
1432             @cflags_backup = @cflags;
1433             @cflags        = @cflags_noformat;
1434         }
1435
1436         if ($option_buildd) {
1437             $statistics{preprocess}++  if $preprocess;
1438             $statistics{compile}++     if $compile;
1439             $statistics{compile_cpp}++ if $compile_cpp;
1440             $statistics{link}++        if $link;
1441         }
1442
1443         # Check if there are flags indicating a debug build. If that's true,
1444         # skip the check for -O2. This prevents fortification, but that's fine
1445         # for a debug build.
1446         if (any_flags_used($line, @def_cflags_debug)) {
1447             remove_flags([\@cflags], \%flag_renames, $def_cflags[1]);
1448             remove_flags([\@cppflags], \%flag_renames, $def_cppflags_fortify[0]);
1449         }
1450
1451         # Check hardening flags.
1452         my @missing;
1453         if ($compile and (not all_flags_used($line, \@missing, @cflags)
1454                     or (($harden_stack or $harden_stack_strong)
1455                         and cflags_stack_broken($line, \@missing,
1456                                                 $harden_stack_strong)))
1457                 # Libraries linked with -fPIC don't have to (and can't) be
1458                 # linked with -fPIE as well. It's no error if only PIE flags
1459                 # are missing.
1460                 and not pic_pie_conflict($line, $harden_pie, \@missing, @def_cflags_pie)
1461                 # Assume dpkg-buildflags returns the correct flags.
1462                 and index($line, '`dpkg-buildflags --get CFLAGS`') == -1) {
1463             if (not $option_buildd) {
1464                 error_flags('CFLAGS missing', \@missing, \%flag_renames,
1465                             $input[$i], $input_number[$i]);
1466                 $exit |= $exit_code{flags_missing};
1467             } else {
1468                 $statistics{compile_missing}++;
1469             }
1470         } elsif ($compile_cpp and not all_flags_used($line, \@missing, @cflags)
1471                 # Libraries linked with -fPIC don't have to (and can't) be
1472                 # linked with -fPIE as well. It's no error if only PIE flags
1473                 # are missing.
1474                 and not pic_pie_conflict($line, $harden_pie, \@missing, @def_cflags_pie)
1475                 # Assume dpkg-buildflags returns the correct flags.
1476                 and index($line, '`dpkg-buildflags --get CXXFLAGS`') == -1) {
1477             if (not $option_buildd) {
1478                 error_flags('CXXFLAGS missing', \@missing, \%flag_renames,
1479                             $input[$i], $input_number[$i]);
1480                 $exit |= $exit_code{flags_missing};
1481             } else {
1482                 $statistics{compile_cpp_missing}++;
1483             }
1484         }
1485         if ($preprocess
1486                 and (not all_flags_used($line, \@missing, @cppflags)
1487                     # The fortify flag might be overwritten, detect that.
1488                      or ($harden_fortify
1489                          and cppflags_fortify_broken($line, \@missing)))
1490                 # Assume dpkg-buildflags returns the correct flags.
1491                 and index($line, '`dpkg-buildflags --get CPPFLAGS`') == -1) {
1492             if (not $option_buildd) {
1493                 error_flags('CPPFLAGS missing', \@missing, \%flag_renames,
1494                             $input[$i], $input_number[$i]);
1495                 $exit |= $exit_code{flags_missing};
1496             } else {
1497                 $statistics{preprocess_missing}++;
1498             }
1499         }
1500         if ($link and not all_flags_used($line, \@missing, @ldflags)
1501                 # Same here, -fPIC conflicts with -fPIE.
1502                 and not pic_pie_conflict($line, $harden_pie, \@missing, @def_ldflags_pie)
1503                 # Assume dpkg-buildflags returns the correct flags.
1504                 and index($line, '`dpkg-buildflags --get LDFLAGS`') == -1) {
1505             if (not $option_buildd) {
1506                 error_flags('LDFLAGS missing', \@missing, \%flag_renames,
1507                             $input[$i], $input_number[$i]);
1508                 $exit |= $exit_code{flags_missing};
1509             } else {
1510                 $statistics{link_missing}++;
1511             }
1512         }
1513
1514         # Restore normal CFLAGS.
1515         if ($restore_cflags) {
1516             @cflags = @cflags_backup;
1517         }
1518     }
1519 }
1520
1521 # Print statistics for buildd mode, only output in this mode.
1522 if ($option_buildd) {
1523     my @warning;
1524
1525     if ($statistics{preprocess_missing}) {
1526         push @warning, sprintf 'CPPFLAGS %d (of %d)',
1527                                $statistics{preprocess_missing},
1528                                $statistics{preprocess};
1529     }
1530     if ($statistics{compile_missing}) {
1531         push @warning, sprintf 'CFLAGS %d (of %d)',
1532                                $statistics{compile_missing},
1533                                $statistics{compile};
1534     }
1535     if ($statistics{compile_cpp_missing}) {
1536         push @warning, sprintf 'CXXFLAGS %d (of %d)',
1537                                $statistics{compile_cpp_missing},
1538                                $statistics{compile_cpp};
1539     }
1540     if ($statistics{link_missing}) {
1541         push @warning, sprintf 'LDFLAGS %d (of %d)',
1542                                $statistics{link_missing},
1543                                $statistics{link};
1544     }
1545     if (scalar @warning) {
1546         local $" = ', '; # array join string
1547         print "$buildd_tag{flags_missing}|@warning missing|\n";
1548     }
1549
1550     if ($statistics{commands_nonverbose}) {
1551         printf "$buildd_tag{non_verbose_build}|%d (of %d) hidden|\n",
1552                $statistics{commands_nonverbose},
1553                $statistics{commands},
1554     }
1555 }
1556
1557
1558 exit $exit;
1559
1560
1561 __END__
1562
1563 =head1 NAME
1564
1565 blhc - build log hardening check, checks build logs for missing hardening flags
1566
1567 =head1 SYNOPSIS
1568
1569 B<blhc> [I<options>] I<< <dpkg-buildpackage build log file>.. >>
1570
1571 =head1 DESCRIPTION
1572
1573 blhc is a small tool which checks build logs for missing hardening flags. It's
1574 licensed under the GPL 3 or later.
1575
1576 It's designed to check build logs generated by Debian's dpkg-buildpackage (or
1577 tools using dpkg-buildpackage like pbuilder or sbuild (which is used for the
1578 official buildd build logs)) to help maintainers detect missing hardening
1579 flags in their packages.
1580
1581 Only gcc is detected as compiler at the moment. If other compilers support
1582 hardening flags as well, please report them.
1583
1584 If there's no output, no flags are missing and the build log is fine.
1585
1586 See F<README> for details about performed checks, auto-detection and
1587 limitations.
1588
1589 =head1 FALSE POSITIVES
1590
1591 To suppress false positives you can embed the following string in the build
1592 log:
1593
1594     blhc: ignore-line-regexp: REGEXP
1595
1596 All lines fully matching REGEXP (see B<--ignore-line> for details) will be
1597 ignored. The string can be embedded multiple times to ignore different
1598 regexps.
1599
1600 Please use this feature sparingly so that missing flags are not overlooked. If
1601 you find false positives which affect more packages please report a bug.
1602
1603 To generate this string simply use echo in C<debian/rules>; make sure to use @
1604 to suppress the echo command itself as it could also trigger a false positive.
1605 If the build process takes a long time edit the C<.build> file in place and
1606 tweak the ignore string until B<blhc --all --debian package.build> no longer
1607 reports any false positives.
1608
1609 =head1 OPTIONS
1610
1611 =over 8
1612
1613 =item B<--all>
1614
1615 Force check for all +all (+pie, +bindnow) hardening flags. By default it's
1616 auto detected.
1617
1618 =item B<--arch> I<architecture>
1619
1620 Set the specific architecture (e.g. amd64, armel, etc.), automatically
1621 disables hardening flags not available on this architecture. Is detected
1622 automatically if dpkg-buildpackage is used.
1623
1624 =item B<--bindnow>
1625
1626 Force check for all +bindnow hardening flags. By default it's auto detected.
1627
1628 =item B<--buildd>
1629
1630 Special mode for buildds when automatically parsing log files. The following
1631 changes are in effect:
1632
1633 =over 2
1634
1635 =item *
1636
1637 Print tags instead of normal warnings, see L</"BUILDD TAGS"> for a list of
1638 possible tags.
1639
1640 =item *
1641
1642 Don't check hardening flags in old log files (if dpkg-dev << 1.16.1 is
1643 detected).
1644
1645 =item *
1646
1647 Don't require Term::ANSIColor.
1648
1649 =item *
1650
1651 Return exit code 0, unless there was a error (-I, -W messages don't count as
1652 error).
1653
1654 =back
1655
1656 =item B<--debian>
1657
1658 Apply Debian-specific settings. At the moment this only disables checking for
1659 PIE which is automatically applied by Debian's GCC and no longer requires a
1660 compiler command line argument.
1661
1662 =item B<--color>
1663
1664 Use colored (ANSI) output for warning messages.
1665
1666 =item B<--line-numbers>
1667
1668 Display line numbers.
1669
1670 =item B<--ignore-arch> I<arch>
1671
1672 Ignore build logs from architectures matching I<arch>. I<arch> is a string.
1673
1674 Used to prevent false positives. This option can be specified multiple times.
1675
1676 =item B<--ignore-arch-flag> I<arch>:I<flag>
1677
1678 Like B<--ignore-flag>, but only ignore flag on I<arch>.
1679
1680 =item B<--ignore-arch-line> I<arch>:I<line>
1681
1682 Like B<--ignore-line>, but only ignore line on I<arch>.
1683
1684 =item B<--ignore-flag> I<flag>
1685
1686 Don't print an error when the specific flag is missing in a compiler line.
1687 I<flag> is a string.
1688
1689 Used to prevent false positives. This option can be specified multiple times.
1690
1691 =item B<--ignore-line> I<regex>
1692
1693 Ignore lines matching the given Perl regex. I<regex> is automatically anchored
1694 at the beginning and end of the line to prevent false negatives.
1695
1696 B<NOTE>: Not the input lines are checked, but the lines which are displayed in
1697 warnings (which have line continuation resolved).
1698
1699 Used to prevent false positives. This option can be specified multiple times.
1700
1701 =item B<--pie>
1702
1703 Force check for all +pie hardening flags. By default it's auto detected.
1704
1705 =item B<-h -? --help>
1706
1707 Print available options.
1708
1709 =item B<--version>
1710
1711 Print version number and license.
1712
1713 =back
1714
1715 Auto detection for B<--pie> and B<--bindnow> only works if at least one
1716 command uses the required hardening flag (e.g. -fPIE). Then it's required for
1717 all other commands as well.
1718
1719 =head1 EXAMPLES
1720
1721 Normal usage, parse a single log file.
1722
1723     blhc path/to/log/file
1724
1725 If there's no output, no flags are missing and the build log is fine.
1726
1727 Parse multiple log files. The exit code is ORed over all files.
1728
1729     blhc path/to/directory/with/log/files/*
1730
1731 Don't treat missing C<-g> as error:
1732
1733     blhc --ignore-flag -g path/to/log/file
1734
1735 Don't treat missing C<-pie> on kfreebsd-amd64 as error:
1736
1737     blhc --ignore-arch-flag kfreebsd-amd64:-pie path/to/log/file
1738
1739 Ignore lines consisting exactly of C<./script gcc file> which would cause a
1740 false positive.
1741
1742     blhc --ignore-line '\./script gcc file' path/to/log/file
1743
1744 Ignore lines matching C<./script gcc file> somewhere in the line.
1745
1746     blhc --ignore-line '.*\./script gcc file.*' path/to/log/file
1747
1748 Use blhc with pbuilder.
1749
1750     pbuilder path/to/package.dsc | tee path/log/file
1751     blhc path/to/file || echo flags missing
1752
1753 Assume this build log was created on a Debian system and thus don't warn about
1754 missing PIE flags if the current architecture injects them automatically (this
1755 is enabled in buildd mode per default). C<--arch> is necessary if the build
1756 log contains no architecture information as written by dpkg-buildpackage.
1757
1758     blhc --debian --all --arch=amd64 path/to/log/file
1759
1760 =head1 BUILDD TAGS
1761
1762 The following tags are used in I<--buildd> mode. In braces the additional data
1763 which is displayed.
1764
1765 =over 2
1766
1767 =item B<I-hardening-wrapper-used>
1768
1769 The package uses hardening-wrapper which intercepts calls to gcc and adds
1770 hardening flags. The build log doesn't contain any hardening flags and thus
1771 can't be checked by blhc.
1772
1773 =item B<W-compiler-flags-hidden> (summary of hidden lines)
1774
1775 Build log contains lines which hide the real compiler flags. For example:
1776
1777     CC test-a.c
1778     CC test-b.c
1779     CC test-c.c
1780     LD test
1781
1782 Most of the time either C<export V=1> or C<export verbose=1> in
1783 F<debian/rules> fixes builds with hidden compiler flags. Sometimes C<.SILENT>
1784 in a F<Makefile> must be removed. And as last resort the F<Makefile> must be
1785 patched to remove the C<@>s hiding the real compiler commands.
1786
1787 =item B<W-dpkg-buildflags-missing> (summary of missing flags)
1788
1789 CPPFLAGS, CFLAGS, CXXFLAGS, LDFLAGS missing.
1790
1791 =item B<I-invalid-cmake-used> (version)
1792
1793 By default CMake ignores CPPFLAGS thus missing those hardening flags. Debian
1794 patched CMake in versions 2.8.7-1 and 2.8.7-2 to respect CPPFLAGS, but this
1795 patch was rejected by upstream and later reverted in Debian. Thus those two
1796 versions show correct usage of CPPFLAGS even if the package doesn't correctly
1797 handle them (for example by passing them to CFLAGS). To prevent false
1798 negatives just blacklist those two versions.
1799
1800 =item B<I-no-compiler-commands>
1801
1802 No compiler commands were detected. Either the log contains none or they were
1803 not correctly detected by blhc (please report the bug in this case).
1804
1805 =back
1806
1807 =head1 EXIT STATUS
1808
1809 The exit status is a "bit mask", each listed status is ORed when the error
1810 condition occurs to get the result.
1811
1812 =over 4
1813
1814 =item B<0>
1815
1816 Success.
1817
1818 =item B<1>
1819
1820 No compiler commands were found.
1821
1822 =item B<2>
1823
1824 Invalid arguments/options given to blhc.
1825
1826 =item B<4>
1827
1828 Non verbose build.
1829
1830 =item B<8>
1831
1832 Missing hardening flags.
1833
1834 =item B<16>
1835
1836 Hardening wrapper detected, no tests performed.
1837
1838 =item B<32>
1839
1840 Invalid CMake version used. See B<I-invalid-cmake-used> under L</"BUILDD
1841 TAGS"> for a detailed explanation.
1842
1843 =back
1844
1845 =head1 AUTHOR
1846
1847 Simon Ruderich, E<lt>simon@ruderich.orgE<gt>
1848
1849 Thanks to to Bernhard R. Link E<lt>brlink@debian.orgE<gt> and Jaria Alto
1850 E<lt>jari.aalto@cante.netE<gt> for their valuable input and suggestions.
1851
1852 =head1 LICENSE AND COPYRIGHT
1853
1854 Copyright (C) 2012-2024 by Simon Ruderich
1855
1856 This program is free software: you can redistribute it and/or modify
1857 it under the terms of the GNU General Public License as published by
1858 the Free Software Foundation, either version 3 of the License, or
1859 (at your option) any later version.
1860
1861 This program is distributed in the hope that it will be useful,
1862 but WITHOUT ANY WARRANTY; without even the implied warranty of
1863 MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
1864 GNU General Public License for more details.
1865
1866 You should have received a copy of the GNU General Public License
1867 along with this program.  If not, see <http://www.gnu.org/licenses/>.
1868
1869 =head1 SEE ALSO
1870
1871 L<hardening-check(1)>, L<dpkg-buildflags(1)>
1872
1873 =cut