forecast_api/build/build_baseline.sql

BEGIN;
--\timing
--CREATE TABLE IF NOT EXISTS rlarp.osmf_stage AS (SELECT * FROM rlarp.osmf_dev) WITH no data;
TRUNCATE TABLE rlarp.osmf_dev;

DROP TABLE IF EXISTS tdr;
CREATE TEMP TABLE tdr AS (
    SELECT
         DATERANGE('2022-06-01','2023-06-01','[)') drange
        ,DATERANGE(('2022-06-01'::date + '1 year'::interval)::date,('2023-06-01'::date + '1 year'::interval)::date,'[)') repl
        ,'1 year'::interval AS incr
        ,(SELECT jsonb_agg(x.v) FROM (VALUES('copy'),('actuals'),('actuals_plug')) AS x(v)) iter
);

WITH
gld AS (
    SELECT 
        N1COMP COMP
        ,N1CCYY FSYR
        ,KPMAXP PERDS
        ,N1FSPP PERD
        ,to_char(N1FSYP,'FM0000') FSPR
        ,N1SD01 SDAT
        ,N1ED01 EDAT
        ,to_char(N1ED01,'yymm') CAPR
        ,N1ED01 - N1SD01 +1 NDAYS 
        ,CASE WHEN EXTRACT(MONTH FROM N1ED01) >= 6 THEN EXTRACT(YEAR FROM N1ED01) + 1 ELSE EXTRACT(YEAR FROM N1ED01) END SSYR
        ,to_char(CASE WHEN EXTRACT(MONTH FROM N1ED01) >= 6 THEN EXTRACT(MONTH FROM N1ED01) -5  ELSE EXTRACT(MONTH FROM N1ED01) +7 END,'00') SSPR
    FROM 
        LGDAT.GLDATREF 
        INNER JOIN LGDAT.GLDATE ON 
            KPCOMP = N1COMP AND 
            KPCCYY = N1CCYY
        CROSS JOIN tdr
    WHERE
        N1COMP = 93
        --AND DIGITS(N1FSYP) = '1901'
)
--SELECT * FROM gld
,baseline AS (
    SELECT
        -----------documents-------------
        null::int "ddord#"
        ,null::int "dditm#"
        ,null::int "fgbol#"
        ,null::int "fgent#"
        ,null::int "diinv#"
        ,null::int "dilin#"
        ,null::int quoten
        ,null::int quotel
        ----------dates/status------------------
        ,o.odate dcodat
        ,o.rdate ddqdat
        ,null::date dcmdat
        ,null::date fesdat
        ,greatest(least(o.sdate,gld.edat),gld.sdat) dhidat
        ,null::text fesind
        ,null::text dhpost
        ---for forecasting purposes there are no open orders, populate fspr----
        ,ss.fspr
        -----------measures--------------------
        ,null::numeric ddqtoi
        ,null::numeric ddqtsi
        ,null::numeric fgqshp
        ,null::numeric diqtsh
        ,null::numeric diext
        ,null::numeric ditdis
        ,null::jsonb discj
        ,null::text dhincr
        ,o.plnt
        ,COALESCE(o.promo,'') promo
        ,null::text return_reas
        ,o.terms
        ,null::text custpo
        ,null::text remit_to
        ,null::text bill_class
        ,o.bill_cust
        ,null::text bill_rep
        ,null::text bill_terr
        ,null::text ship_class
        ,o.ship_cust
        ,null::text ship_rep
        ,null::text ship_terr
        ,o.dsm
        ,null::text account
        ,null::text shipgrp
        ,null::text geo
        ,null::text chan
        ,null::text chansub
        ,null::text orig_ctry
        ,null::text orig_prov
        ,null::text orig_post
        ,null::text bill_ctry
        ,null::text bill_prov
        ,null::text bill_post
        ,null::text dest_ctry
        ,null::text dest_prov
        ,null::text dest_post
        ,o.part
        ,null::text styc
        ,null::text colc
        ,null::text colgrp
        ,null::text coltier
        ,null::text colstat
        ,null::text sizc
        ,null::text pckg
        ,null::text kit
        ,null::text brnd
        ,null::text majg
        ,null::text ming
        ,null::text majs
        ,null::text mins
        ,null::text gldco
        ,null::text gldc
        ,null::text glec
        ,null::text harm
        ,null::text clss
        ,null::text brand
        ,null::text assc
        ,null::text ddunit
        ,null::text unti
        ,null::numeric lbs
        ,null::numeric plt
        ,null::text plcd
        ,o.fs_line
        ,o.r_currency
        ,o.r_rate
        ,o.c_currency
        ,o.c_rate
        ,sum(o.fb_qty) fb_qty
        ,sum(o.fb_val_loc) fb_val_loc
        ,sum(o.fb_val_loc_dis) fb_val_loc_dis
        ,sum(o.fb_val_loc_qt) fb_val_loc_qt
        ,sum(o.fb_val_loc_pl) fb_val_loc_pl
        ,sum(o.fb_val_loc_tar) fb_val_loc_tar
        ,sum(o.fb_cst_loc) fb_cst_loc
        ,sum(o.fb_cst_loc_cur) fb_cst_loc_cur
        ,sum(o.fb_cst_loc_fut) fb_cst_loc_fut
        ,o.calc_status
        ,o.flag
        ,o.odate
        ,o.oseas
        ,o.rdate
        ,o.rseas
        -----when null, greatest/least is just going to act like coalesce
        ,greatest(least(o.sdate,gld.edat),gld.sdat) sdate
        ,ss.ssyr sseas
        ,'actuals' "version"
        ,'actuals' iter
    FROM
        rlarp.osm_dev o
        --snap the ship dates of the historic fiscal period
        LEFT OUTER JOIN gld ON
            gld.fspr = o.fspr
        --get the shipping season for open orders based on the snapped date
        LEFT OUTER JOIN gld ss ON
            greatest(least(o.sdate,gld.edat),gld.sdat) BETWEEN ss.sdat AND ss.edat
    WHERE
        (
            --base period orders booked....
            o.odate <@ (SELECT drange FROM tdr)
            --...or any open orders currently booked before cutoff....
            OR (o.calc_status IN ('OPEN','BACKORDER') and o.odate < (SELECT UPPER(drange) FROM tdr))
            --...or anything that shipped in that period
            OR (o.sdate <@ (SELECT drange FROM tdr) AND sseas IS NOT NULL)
        )
        AND fs_line = '41010'
        AND calc_status <> 'CANCELED'
        AND NOT (calc_status = 'CLOSED' AND flag = 'REMAINDER')
        ---exclude integrated quotes----
        AND version = 'ACTUALS'
    GROUP BY
        ss.fspr
        ,o.plnt
        ,COALESCE(o.promo,'')
        ,o.terms
        ,o.bill_cust
        ,o.ship_cust
        ,o.dsm
        ,o.part
        ,o.fs_line
        ,o.r_currency
        ,o.r_rate
        ,o.c_currency
        ,o.c_rate
        ,o.calc_status
        ,o.flag
        ,o.odate
        ,o.oseas
        ,o.rdate
        ,o.rseas
        ,greatest(least(o.sdate,gld.edat),gld.sdat)
        ,ss.ssyr
)
,incr AS (
SELECT 
    o."ddord#"
    ,o."dditm#"
    ,o."fgbol#"
    ,o."fgent#"
    ,o."diinv#"
    ,o."dilin#"
    ,o.quoten
    ,o.quotel
    ,o.dcodat + interval '1 year' dcodat   --incremented
    ,o.ddqdat + interval '1 year' ddqdat  --incremented
    ,o.dcmdat
    ,o.fesdat
    ,o.dhidat + interval '1 year' dhidat   --incremented
    ,o.fesind
    ,o.dhpost
    ,gld.fspr                       --incremented
    ,o.ddqtoi
    ,o.ddqtsi
    ,o.fgqshp
    ,o.diqtsh
    ,o.diext
    ,o.ditdis
    ,o.discj
    ,o.dhincr
    ,o.plnt
    ,o.promo
    ,o.return_reas
    ,o.terms
    ,o.custpo
    ,o.remit_to
    ,o.bill_class
    ,o.bill_cust
    ,o.bill_rep
    ,o.bill_terr
    ,o.ship_class
    ,o.ship_cust
    ,o.ship_rep
    ,o.ship_terr
    ,o.dsm
    ,o.account
    ,o.shipgrp
    ,o.geo
    ,o.chan
    ,o.chansub
    ,o.orig_ctry
    ,o.orig_prov
    ,o.orig_post
    ,o.bill_ctry
    ,o.bill_prov
    ,o.bill_post
    ,o.dest_ctry
    ,o.dest_prov
    ,o.dest_post
    ,o.part
    ,o.styc
    ,o.colc
    ,o.colgrp
    ,o.coltier
    ,o.colstat
    ,o.sizc
    ,o.pckg
    ,o.kit
    ,o.brnd
    ,o.majg
    ,o.ming
    ,o.majs
    ,o.mins
    ,o.gldco
    ,o.gldc
    ,o.glec
    ,o.harm
    ,o.clss
    ,o.brand
    ,o.assc
    ,o.ddunit
    ,o.unti
    ,o.lbs
    ,o.plt
    ,o.plcd
    ,o.fs_line
    ,o.r_currency
    ,o.r_rate
    ,o.c_currency
    ,o.c_rate
    ,o.fb_qty
    ,o.fb_val_loc
    ,o.fb_val_loc_dis
    ,o.fb_val_loc_qt
    ,o.fb_val_loc_pl
    ,o.fb_val_loc_tar
    ,o.fb_cst_loc
    ,o.fb_cst_loc_cur
    ,o.fb_cst_loc_fut
    ,o.calc_status
    ,o.flag
    ,(o.odate + interval '1 year')::date odate    --incremented
    ,o.oseas + 1                 oseas    --incremented
    ,(o.rdate + interval '1 year')::date rdate    --incremented
    ,o.rseas + 1                 rseas    --incremented
    ,(o.sdate + interval '1 year')::date sdate    --incremented
    ,o.sseas + 1                 sseas    --incremented
    ,'b22' "version"
    ,'copy' iter
FROM 
    baseline o
    LEFT OUTER JOIN gld ON
        o.sdate + interval '1 year' BETWEEN gld.sdat and gld.edat
WHERE
    o.odate + interval '1 year' >= (SELECT LOWER(drange) + INTERVAL '1 year' FROM tdr)
)
,stage AS (
SELECT * FROM incr
UNION ALL
SELECT * FROM baseline
)
,remove AS (
    SELECT
        -----------documents-------------
        null::int "ddord#"
        ,null::int "dditm#"
        ,null::int "fgbol#"
        ,null::int "fgent#"
        ,null::int "diinv#"
        ,null::int "dilin#"
        ,null::int quoten
        ,null::int quotel
        ----------dates/status------------------
        ,o.odate dcodat
        ,o.rdate ddqdat
        ,null::date dcmdat
        ,null::date fesdat
        ,o.dhidat
        ,null::text fesind
        ,null::text dhpost
        ,o.fspr
        -----------measures--------------------
        ,null::numeric ddqtoi
        ,null::numeric ddqtsi
        ,null::numeric fgqshp
        ,null::numeric diqtsh
        ,null::numeric diext
        ,null::numeric ditdis
        ,null::jsonb discj
        ,null::text dhincr
        ,o.plnt
        ,o.promo
        ,o.return_reas
        ,o.terms
        ,null::text custpo
        ,null::text remit_to
        ,null::text bill_class
        ,o.bill_cust
        ,null::text bill_rep
        ,null::text bill_terr
        ,null::text ship_class
        ,o.ship_cust
        ,null::text ship_rep
        ,null::text ship_terr
        ,o.dsm
        ,null::text account
        ,null::text shipgrp
        ,null::text geo
        ,null::text chan
        ,null::text chansub
        ,null::text orig_ctry
        ,null::text orig_prov
        ,null::text orig_post
        ,null::text bill_ctry
        ,null::text bill_prov
        ,null::text bill_post
        ,null::text dest_ctry
        ,null::text dest_prov
        ,null::text dest_post
        ,o.part
        ,null::text styc
        ,null::text colc
        ,null::text colgrp
        ,null::text coltier
        ,null::text colstat
        ,null::text sizc
        ,null::text pckg
        ,null::text kit
        ,null::text brnd
        ,null::text majg
        ,null::text ming
        ,null::text majs
        ,null::text mins
        ,null::text gldco
        ,null::text gldc
        ,null::text glec
        ,null::text harm
        ,null::text clss
        ,null::text brand
        ,null::text assc
        ,null::text ddunit
        ,null::text unti
        ,null::numeric lbs
        ,null::numeric plt
        ,null::text plcd
        ,o.fs_line
        ,o.r_currency
        ,o.r_rate
        ,o.c_currency
        ,o.c_rate
        ,-sum(o.fb_qty) fb_qty
        ,-sum(o.fb_val_loc) fb_val_loc
        ,-sum(o.fb_val_loc_dis) fb_val_loc_dis
        ,-sum(o.fb_val_loc_qt) fb_val_loc_qt
        ,-sum(o.fb_val_loc_pl) fb_val_loc_pl
        ,-sum(o.fb_val_loc_tar) fb_val_loc_tar
        ,-sum(o.fb_cst_loc) fb_cst_loc
        ,-sum(o.fb_cst_loc_cur) fb_cst_loc_cur
        ,-sum(o.fb_cst_loc_fut) fb_cst_loc_fut
        ,o.calc_status
        ,o.flag
        ,o.odate
        ,o.oseas
        ,o.rdate
        ,o.rseas
        -----when null, greatest/least is just going to act like coalesce
        ,o.sdate
        ,o.sseas
        ,o.version
        ,o.iter
    FROM
        rlarp.osmfs_dev o
        CROSS JOIN tdr
    WHERE
        --collect all the rows in the base period and
        --the destination slot for the new rows
        (
            o.odate <@ tdr.drange
            OR o.odate <@ tdr.repl
        ) 
        ---only merge with targeted iterations
        AND tdr.iter ? o.iter
    GROUP BY
         o.odate
        ,o.rdate
        ,o.dhidat
        ,o.fspr
        ,o.plnt
        ,o.promo
        ,o.return_reas
        ,o.terms
        ,o.bill_cust
        ,o.ship_cust
        ,o.dsm
        ,o.part
        ,o.fs_line
        ,o.r_currency
        ,o.r_rate
        ,o.c_currency
        ,o.c_rate
        ,o.calc_status
        ,o.flag
        ,o.odate
        ,o.oseas
        ,o.rdate
        ,o.rseas
        ,o.sdate
        ,o.sseas
        ,o.version
        ,o.iter
)
,stack AS (
    SELECT * FROM stage
    UNION ALL 
    SELECT * FROM remove
)
,merge_diff AS (
    SELECT
        -----------documents-------------
        null::int "ddord#"
        ,null::int "dditm#"
        ,null::int "fgbol#"
        ,null::int "fgent#"
        ,null::int "diinv#"
        ,null::int "dilin#"
        ,null::int quoten
        ,null::int quotel
        ----------dates/status------------------
        ,o.odate dcodat
        ,o.rdate ddqdat
        ,null::date dcmdat
        ,null::date fesdat
        ,o.dhidat
        ,null::text fesind
        ,null::text dhpost
        ,o.fspr
        -----------measures--------------------
        ,null::numeric ddqtoi
        ,null::numeric ddqtsi
        ,null::numeric fgqshp
        ,null::numeric diqtsh
        ,null::numeric diext
        ,null::numeric ditdis
        ,null::jsonb discj
        ,null::text dhincr
        ,o.plnt
        ,o.promo
        ,o.return_reas
        ,o.terms
        ,null::text custpo
        ,null::text remit_to
        ,null::text bill_class
        ,o.bill_cust
        ,null::text bill_rep
        ,null::text bill_terr
        ,null::text ship_class
        ,o.ship_cust
        ,null::text ship_rep
        ,null::text ship_terr
        ,o.dsm
        ,null::text account
        ,null::text shipgrp
        ,null::text geo
        ,null::text chan
        ,null::text chansub
        ,null::text orig_ctry
        ,null::text orig_prov
        ,null::text orig_post
        ,null::text bill_ctry
        ,null::text bill_prov
        ,null::text bill_post
        ,null::text dest_ctry
        ,null::text dest_prov
        ,null::text dest_post
        ,o.part
        ,null::text styc
        ,null::text colc
        ,null::text colgrp
        ,null::text coltier
        ,null::text colstat
        ,null::text sizc
        ,null::text pckg
        ,null::text kit
        ,null::text brnd
        ,null::text majg
        ,null::text ming
        ,null::text majs
        ,null::text mins
        ,null::text gldco
        ,null::text gldc
        ,null::text glec
        ,null::text harm
        ,null::text clss
        ,null::text brand
        ,null::text assc
        ,null::text ddunit
        ,null::text unti
        ,null::numeric lbs
        ,null::numeric plt
        ,null::text plcd
        ,o.fs_line
        ,o.r_currency
        ,o.r_rate
        ,o.c_currency
        ,o.c_rate
        ,round(sum(o.fb_qty),2) fb_qty
        ,round(sum(o.fb_val_loc),2) fb_val_loc
        ,sum(o.fb_val_loc_dis) fb_val_loc_dis
        ,sum(o.fb_val_loc_qt) fb_val_loc_qt
        ,sum(o.fb_val_loc_pl) fb_val_loc_pl
        ,sum(o.fb_val_loc_tar) fb_val_loc_tar
        ,round(sum(o.fb_cst_loc),2) fb_cst_loc
        ,sum(o.fb_cst_loc_cur) fb_cst_loc_cur
        ,sum(o.fb_cst_loc_fut) fb_cst_loc_fut
        ,o.calc_status
        ,o.flag
        ,o.odate
        ,o.oseas
        ,o.rdate
        ,o.rseas
        ,o.sdate
        ,o.sseas
        --,o.version
        --,o.iter
        ,'actuals' AS version
        ,'copy' iter
    FROM
        stack o
    WHERE
        --collect all the rows in the base period and
        --the destination slot for the new rows
        o.odate <@ (SELECT tdr.drange FROM tdr)
        OR o.odate <@ (SELECT tdr.repl FROM tdr)
    GROUP BY
         o.dhidat
        ,o.fspr
        ,o.plnt
        ,o.promo
        ,o.return_reas
        ,o.terms
        ,o.bill_cust
        ,o.ship_cust
        ,o.dsm
        ,o.part
        ,o.fs_line
        ,o.r_currency
        ,o.r_rate
        ,o.c_currency
        ,o.c_rate
        ,o.calc_status
        ,o.flag
        ,o.odate
        ,o.oseas
        ,o.rdate
        ,o.rseas
        ,o.sdate
        ,o.sseas
        --,o.version
        --,o.iter
    HAVING
           round(sum(o.fb_qty),2) <> 0
        OR round(sum(o.fb_val_loc),2) <> 0
        --OR round(sum(o.fb_cst_loc),2) <> 0
)
INSERT INTO rlarp.osmf_dev SELECT * FROM merge_diff;


UPDATE
    rlarp.osmf_dev f
SET
    fspr = gld.fspr
FROM
    (
        SELECT 
            N1COMP COMP
            ,N1CCYY FSYRq
            ,KPMAXP PERDS
            ,N1FSPP PERD
            ,to_char(N1FSYP,'FM0000') FSPR
            ,N1SD01 SDAT
            ,N1ED01 EDAT
            ,to_char(N1ED01,'yymm') CAPR
            ,N1ED01 - N1SD01 +1 NDAYS 
            ,CASE WHEN EXTRACT(MONTH FROM N1ED01) >= 6 THEN EXTRACT(YEAR FROM N1ED01) + 1 ELSE EXTRACT(YEAR FROM N1ED01) END SSYR
            ,to_char(CASE WHEN EXTRACT(MONTH FROM N1ED01) >= 6 THEN EXTRACT(MONTH FROM N1ED01) -5  ELSE EXTRACT(MONTH FROM N1ED01) +7 END,'00') SSPR
        FROM 
            LGDAT.GLDATREF 
            INNER JOIN LGDAT.GLDATE ON 
                KPCOMP = N1COMP AND 
                KPCCYY = N1CCYY
        WHERE
            N1COMP = 93
            --AND DIGITS(N1FSYP) = '1901'
    ) gld
WHERE
    f.sdate BETWEEN gld.sdat AND gld.edat
    AND coalesce(f.fspr,'') <> gld.fspr;

COMMIT;

END

---identify short ships: causes disconnect with actual sales-------------------------------------------------------------------
--UPDATE rlarp.osmfs SET iter = 'short ship' WHERE calc_status = 'CLOSED' AND flag = 'REMAINDER';

---identify goofy ship dates: causes disconnect with sales when splicing in a forecast that has this problem-------------------
--UPDATE rlarp.osmfs SET iter = 'bad date' WHERE adj_shipdate < adj_orderdate;