pretrial-summit-risk-assessment-tool-evaluation

Wayne State University Center for Behavioral Health and Justice Indiana Office of Court Services Pretrial Pilot Study Brad Ray, Ph.D Director of the Center for Behavioral Health and Justice Wayne State University Spencer G. Lawson, M.S Michigan State University Indiana Office of Court Services Pretrial Pilot Study  ‐ October 4, 2019 Wayne State University Center for Behavioral Health and Justice Indiana Pretrial Pilot Project The Center for Behavioral Health and Justice is a community‐engaged research group who works directly  with agencies to address social problems through data‐driven decision making in the development,  implementation, and evaluation of policies and initiatives Evan Lowder, Ph.D Assistant Professor Criminology, Law and Society  George Mason University Eric Grommon, Ph.D Associate Professor O’Neill School of Public and Environmental Affairs Indian University – Purdue University Indianapolis Spencer G. Lawson, M.S School of Criminal Justice Michigan State University Indiana Office of Court Services Pretrial Pilot Study  ‐ October 4, 2019 Wayne State University Center for Behavioral Health and Justice Indiana Pretrial Pilot Project • In 2014, the Indiana Supreme Court authorized the development of a pretrial release  pilot project in collaboration with the Evidence Based Decision Making Initiative • Criminal Rule 26: “In determining whether an arrestee presents a substantial risk of  flight or danger to self or other persons or to the public, the court should utilize the  results of an evidence‐based risk assessment…” • Indiana Criminal Rule 26 was the foundation for the 11 pretrial pilot project counties • Evaluation efforts started in 2015 and was initially aimed at examining the barriers and  facilitators towards implementation of the Indiana Risk Assessment System – Pretrial  Assessment Tool (IRAS‐PAT) and has more recently focused on validation Indiana Office of Court Services Pretrial Pilot Study  ‐ October 4, 2019 Wayne State University Center for Behavioral Health and Justice Indiana Pretrial Risk Assessment Tool • Administered to determine  risk of pretrial failure • Self‐report and verification • Low, Moderate, or High Indiana Office of Court Services Pretrial Pilot Study  ‐ October 4, 2019 Wayne State University Center for Behavioral Health and Justice EPIS Framework: IRAS‐PAT A developmental evaluation, aimed at course corrections toward  the utilization and validation of a structured risk assessment tool  2015 2019 Indiana Office of Court Services Pretrial Pilot Study  ‐ October 4, 2019 Wayne State University Center for Behavioral Health and Justice Exploration Phase • Every state has enacted legal reforms governing pretrial release with the goal of  exploring alternatives to money bail • Unstructured professional judgments have repeatedly been shown to be less  accurate than evidence‐based risk assessment approaches • Structured risk assessment tools are informed by more than 65 years of rigorous  research into factors associated with public safety risks Indiana Office of Court Services Pretrial Pilot Study  ‐ October 4, 2019 Wayne State University Center for Behavioral Health and Justice Exploration Phase Indiana Office of Court Services Pretrial Pilot Study  ‐ October 4, 2019 Wayne State University Center for Behavioral Health and Justice Indiana Office of Court Services Pretrial Pilot Study  ‐ October 4, 2019 Wayne State University Center for Behavioral Health and Justice Preparation Phase Pretrial Pilot Counties • Allen • Bartholomew • Grant • Hamilton • Hendricks • Jefferson • Monroe • Porter • St. Joseph • Starke • Tipton Indiana Office of Court Services Pretrial Pilot Study  ‐ October 4, 2019 Wayne State University Center for Behavioral Health and Justice Preparation Phase Facilitators  • Pretrial recommendations helpful at initial hearings • Established local teams committed to the pretrial risk assessment process Barriers  • Lack of integration across local data systems • Concerns about the IRAS‐PAT instrument Indiana Office of Court Services Pretrial Pilot Study  ‐ October 4, 2019 Wayne State University Center for Behavioral Health and Justice Preparation Phase Preliminary integration and analysis of linked INCite and Odyssey data: 2014 ‐ 2016 Indiana Office of Court Services Pretrial Pilot Study  ‐ October 4, 2019 Wayne State University Center for Behavioral Health and Justice Preparation Phase Preliminary integration and analysis of linked INCite and Odyssey data: 2014 ‐ 2016 Indiana Office of Court Services Pretrial Pilot Study  ‐ October 4, 2019 Wayne State University Center for Behavioral Health and Justice Preparation Phase • The IRAS‐PAT was not being used in the decision‐making process • Counties were using the IRAS‐PAT at varying points in the criminal justice  system, with different populations, and different release schedules: • Allen County had a target population of non‐violent F5/F6 arrestees and used an  additional risk tool for pre‐screening • Bartholomew County had a target population which largely consisted of those  arrestees with warrants issues or charges filed Evaluation plan shifted to validation of the IRAS‐PAT Indiana Office of Court Services Pretrial Pilot Study  ‐ October 4, 2019 Wayne State University Center for Behavioral Health and Justice Indiana Office of Court Services Pretrial Pilot Study  ‐ October 4, 2019 Wayne State University Center for Behavioral Health and Justice Implementation Phase Pretrial Pilot Counties • Allen  Mar. 2016 • Bartholomew  Sept. 2016 • Grant  Aug. 2017 • Hamilton  June 2016 • Hendricks  Jan. 2016 • Jefferson  Oct. 2016 • Monroe  Oct. 2016 • Porter  Mar. 2017 • St. Joseph  Oct. 2016 • Starke  Jan. 2016 • Tipton  Oct. 2016 Validation requires  approximately one‐ year of IRAS‐PAT  implementation and an  additional year for  follow‐up Indiana Office of Court Services Pretrial Pilot Study  ‐ October 4, 2019 IRAS‐PAT Validation • Validation is the process of demonstrating the quality of a measure, the scores  obtained with the measure, or the interpretation of those scores • Example: mental illness • Kessler (6) screening  instrument • Distress from serious mental  illness in past 30 days Indiana Office of Court Services Pretrial Pilot Study  ‐ October 4, 2019 Kessler (6) Example 30% 30% 20% 20% 16% 10% County  G 0% 2017 30% 2019 20% 22% 19% County  10% 12% 0% 2017 30% 20% 18% H 2019 16% County  10% 0% 2017 22% 21% 10% E County  0% 2017 2019 D 2019 40% 30% 30% 30% 30% 20% 10% 20% 22% 21% 25% 22% 20% 20% 18% County  J 0% 2017 County  10% 2019 0% 2017 10% B 2019 32% 27% 0% 2017 19% County  10% A 2019 County  I 0% 2017 Data Source: K6 Collection 2017 & 2019  Indiana Office of Court Services Pretrial Pilot Study  ‐ October 4, 2019 IRAS‐PAT Validation • The IRAS is a suite of assessments: Community Supervision and Screening Tool (CSST),  Community and Screening Tool (CST), Prison Intake Tool (PIT), and Reentry Tool (RT) The IRAS‐PAT measures the risk for failure‐to‐appear  and reoffend while on pre‐trial supervision Pretrial risk assessment tools are designed to inform not replace  the exercise of judicial decision‐making and discretion No matter how well validated in other jurisdictions,  assessments should be subjected to local evaluation Indiana Office of Court Services Pretrial Pilot Study  ‐ October 4, 2019 2019 IRAS‐PAT Validation • Record linkage between three systems  INCite • We cannot validate the IRAS‐PAT without  local jail data Unique  Individual  Event • We need to know when a person  entered the jail, left the jail, and a broad  understanding of the arrest charges Odyssey Jail • From a research standpoint nothing has  proven more challenging than the  collection of local jail data Indiana Office of Court Services Pretrial Pilot Study  ‐ October 4, 2019 IRAS‐PAT Validation: Monroe County • Data Sources Sample Flow Chart • Pretrial records • Jail bookings • Odyssey court records • Matching • Offense date (O) • Arrest date (J) • Charge filing date (O) • Booking date (J) Indiana Office of Court Services Pretrial Pilot Study  ‐ October 4, 2019 IRAS‐PAT Validation: Monroe County Distribution of Risk Classifications Indiana Office of Court Services Pretrial Pilot Study  ‐ October 4, 2019 IRAS‐PAT Validation: Monroe County Predictive Validity: Any Failure‐to‐Appear Indiana Office of Court Services Pretrial Pilot Study  ‐ October 4, 2019 IRAS‐PAT Validation: Monroe County Predictive Validity: Any Arrest Indiana Office of Court Services Pretrial Pilot Study  ‐ October 4, 2019 IRAS‐PAT Validation: Monroe County Predictive Validity: Any Misconduct Indiana Office of Court Services Pretrial Pilot Study  ‐ October 4, 2019 IRAS‐PAT Validation: Monroe County Predictive Validity Indiana Office of Court Services Pretrial Pilot Study  ‐ October 4, 2019 IRAS‐PAT Validation: Monroe County Predictive Validity Indiana Office of Court Services Pretrial Pilot Study  ‐ October 4, 2019 IRAS‐PAT Validation: Monroe County • Preliminary results suggest moderate to strong predictive accuracy of IRAS‐PAT  assessment in Monroe County, Indiana • IRAS‐PAT assessments predict arrest with more accuracy than FTA • High proportions of defendants at moderate (33%) and high (52%) risk levels engage  in any pretrial misconduct; should be closer to 18% and 29% respectively based on  instrument design Indiana Office of Court Services Pretrial Pilot Study  ‐ October 4, 2019 Wayne State University Center for Behavioral Health and Justice Implementation Phase Continue working with counties to obtain local booking data to  provide a local validation of the IRAS‐PAT Need to assure we have adequate sample size for validation Data needed to be cleaned and linked prior to validation Indiana Office of Court Services Pretrial Pilot Study  ‐ October 4, 2019 Wayne State University Center for Behavioral Health and Justice Implementation Phase Pretrial Pilot Counties • Allen  Mar. 2016 • Bartholomew  Sept. 2016 • Grant  Aug. 2017 • Hamilton  June 2016 • Hendricks  Jan. 2016 • Jefferson  Oct. 2016 • Monroe  Oct. 2016 • Porter  Mar. 2017 • St. Joseph  Oct. 2016 • Starke  Jan. 2016 • Tipton  Oct. 2016 Validation requires  approximately one‐ year of IRAS‐PAT  implementation and an  additional year for  follow‐up Indiana Office of Court Services Pretrial Pilot Study  ‐ October 4, 2019 Wayne State University Center for Behavioral Health and Justice Indiana Office of Court Services Pretrial Pilot Study  ‐ October 4, 2019 Wayne State University Center for Behavioral Health and Justice Sustainment Phase Quality Assurance and Future Research • Determine validation within county specific practices • Investigate pretrial supervision on court appearance and public safety outcomes • Inform supervision practices for optimal outcomes by risk‐level • Examine whether the implementation of pretrial risk assessments improves the  fairness of pretrial release decisions for racial‐ethnic minorities (funded by the  National Institute of Justice) Indiana Office of Court Services Pretrial Pilot Study  ‐ October 4, 2019 Michigan Mental Health Diversion Council Wayne State University Center for Behavioral Health and Justice Questions & Discussion Indiana Office of Court Services Pretrial Pilot Study  ‐ October 4, 2019